了解如何使用 Instructor 将迭代方法（如密度链 Chain Of Density）蒸馏到一个单一的微调模型中
在本文中，我们将指导你使用 Instructor 实现原始的密度链方法，然后展示如何蒸馏 GPT 3.5 模型，使其能够匹配 GPT-4 的迭代摘要能力。使用这些方法，我们将延迟降低了 20 倍，成本降低了 50 倍，并保持了实体密度。
到最后，你将得到一个 GPT 3.5 模型（使用 Instructor 强大的工具进行了微调），其生成的摘要效果可与密度链方法媲美 [Adams et al. (2023)]。一如既往，所有代码都可以在我们仓库的 examples/chain-of-density 文件夹中找到，供你参考。
准备好深入探索使用 Python 函数微调特定任务语言模型的世界。我们将探讨 instructor.instructions 如何简化这一过程，使你想蒸馏的任务更高效、更强大，同时保留其原始功能和向后兼容性。
如果你想查看完整示例，请访问 examples/distillation
随着大型语言模型 (LLM) 的出现，检索增强生成 (RAG) 已成为热门话题。然而，在过去一年中帮助初创公司将 LLM 集成到其技术栈时，我注意到那种获取用户查询、将其嵌入然后直接搜索向量存储的模式实际上只是演示品。
什么是 RAG？
检索增强生成 (RAG) 是一种利用 LLM 生成响应，同时使用搜索后端增强生成的技术。在过去一年里，使用文本嵌入结合向量数据库的方法是我见过最流行的推广方式。
所以，我们首先来探讨一下我称之为“笨” RAG 模型的东西——一种比你想象中更常见的简单设置。