跳到内容

2024

使用多模态 Gemini 实现结构化输出

在本文中，我们将探讨如何使用 Google 的 Gemini 模型结合 Instructor 来分析旅行视频并提取结构化推荐。这种强大的组合使我们能够处理多模态输入（视频）并使用 Pydantic 模型生成结构化输出。本文是与 Kino.ai 合作完成的，Kino.ai 是一家使用 instructor 从多模态输入中进行结构化提取以改进电影制作人搜索的公司。

设置环境

首先，让我们使用必要的库设置环境
  • 于 anthropic
  • 阅读时长 2 分钟

使用 Anthropic 实现结构化输出和提示缓存

Anthropic 的生态系统现在为 AI 开发者提供了两个强大的功能：结构化输出和提示缓存。这些进展使大型语言模型 (LLMs) 的使用更加高效。本指南演示了如何利用 Instructor 库结合这些功能来增强你的 AI 应用。

使用 Anthropic 和 Instructor 实现结构化输出

Instructor 现在提供与 Anthropic 强大语言模型的无缝集成，使开发者能够轻松使用 Pydantic 模型创建结构化输出。这种集成简化了从 AI 生成的响应中提取特定信息的流程。

使用 Instructor + Burr 生成抽认卡

抽认卡有助于分解复杂主题，学习从生物学到新语言或戏剧台词的任何内容。这篇博客将展示如何使用 LLMs 生成抽认卡并开启你的学习之旅！

Instructor 让我们能够可靠地从 LLMs 获取结构化输出，而 Burr 有助于创建一个易于理解和调试的 LLM 应用。它附带 Burr UI，这是一个免费、开源、本地优先的工具，用于可观测性、标注等！

OpenAI Chat Completions API 中的音频支持

OpenAI 最近在其 Chat Completions API 中引入了音频支持，为处理音频和文本交互的开发者开辟了令人兴奋的新可能性。这项功能由新的 gpt-4o-audio-preview 模型提供支持，该模型为熟悉的 Chat Completions API 接口带来了先进的语音功能。

使用 Instructor 和 Pydantic 构建成对 LLM 判别器

在这篇博客文章中，我们将探讨如何使用 Instructor 和 Pydantic 创建一个成对 LLM 判别器。该判别器将评估问题与文本片段之间的相关性，展示了结构化输出在语言模型交互中的实际应用。

介绍

评估文本相关性是自然语言处理和信息检索中的常见任务。通过利用大型语言模型 (LLMs) 和结构化输出，我们可以创建一个系统来判断问题与给定文本之间的相似性或相关性。

  • 于 OpenAI
  • 阅读时长 3 分钟

使用 Instructor 实现 OpenAI API 模型蒸馏

OpenAI 最近推出了一项名为 API 模型蒸馏的新功能，它允许开发者创建根据其特定用例量身定制的自定义模型。当与 Instructor 的结构化输出功能结合使用时，这项功能尤其强大。在本文中，我们将探讨如何利用 Instructor 结合 API 模型蒸馏来创建更高效和更专业的模型。

  • 于 LLM 技术
  • 阅读时长 10 分钟

糟糕的 Schema 可能会破坏你的 LLM 结构化输出

使用错误的响应模型，你可能会损失高达 60% 的性能提升。响应模型对 Claude 和 GPT-4o 的模型性能影响巨大，无论你使用 JSON 模式还是 Tool Calling。

使用正确的响应模型有助于确保你的模型以正确的语言响应，或在提取视频时间戳时防止幻觉。

我们决定通过在 GSM8k 数据集上对 Claude 和 GPT-4o 进行基准测试来调查这一点，并发现

  1. 字段命名极大地影响性能 - 将单个字段名称从 final_choice 更改为 answer，模型准确率从 4.5% 提高到 95%。我们在响应模型中构建和命名字段的方式可以从根本上改变模型解释和响应查询的方式。
  2. 思维链显著提升性能 - 添加 reasoning 字段使模型在 GSM8k 数据集上的准确率提高了 60%。模型在逐步解释其逻辑时表现得明显更好。
  3. 使用 JSON 模式时要小心 - 在重命名字段时，JSON 模式的性能变异比 Tool Calling 多 50%。不同的响应模型在 JSON 模式和 Tool Calling 之间表现出不同程度的性能差异，这表明 JSON 模式需要更仔细的优化。
  • 于 Pydantic
  • 阅读时长 4 分钟

确保语言模型时间戳格式一致

Gemini 可以理解语言模型输出中的时间戳，但它们可能不一致。视频内容时间戳在 HH:MM:SS 和 MM:SS 格式之间变化，导致解析错误和计算问题。本文介绍了一种处理剪辑和电影时间戳且没有格式问题的技术。

我们将 Pydantic 的数据验证与自定义解析结合起来，以实现一致的时间戳处理。你将学习处理任何格式的时间戳，减少视频内容工作流程中的错误。有点像我们通过添加一个简单的字段来确保多语言摘要中的语言匹配。

本文提供了一个使用 Pydantic 改进语言模型项目中时间戳处理的解决方案。此方法解决了格式不一致的问题并实现了时间戳处理。