跳到内容

LLM 可观测性

Parea：用于观察、测试和微调 Instructor

Parea 是一个平台，使团队能够监控、协作、测试和标注 LLM 应用。在这篇博客中，我们将探讨如何使用 Parea 来增强 OpenAI 客户端，并与 instructor 结合使用，以调试和改进 instructor 调用。Parea 的一些特性使其对 instructor 特别有用

  • 它会自动将因重试引起的任何 LLM 调用归入单个追踪
  • 它会自动跟踪使用 instructor 时发生的任何验证错误计数和字段
  • 它提供了一个 UI，可以通过填写表单而不是编辑 JSON 对象来标注 JSON 响应
配置 Parea

在开始本教程之前，请确保您已注册 Parea 账户。您还需要创建一个 API 密钥。

示例：使用 Instructor 文档中的 URL 编写电子邮件

我们将通过使用 instructor 编写仅包含来自 instructor 文档中 URL 的电子邮件来演示 Parea。在继续之前，我们需要安装依赖项，只需运行下面的命令即可。

为什么 Logfire 与 FastAPI + Instructor 是绝配

Logfire 是一个新工具，它通过 Open Telemetry 为您的应用程序提供关键洞察。Logfire 不使用临时打印语句，而是帮助分析应用程序的每个部分，并直接集成到 Pydantic 和 FastAPI 中，这是 Instructor 用户中两个流行的库。

简而言之，这是帮助您的应用程序达到终点线并超越的秘诀。我们将向您展示如何使用两个示例轻松地将 Logfire 集成到 FastAPI 中，它是 Instructor 用户中最受欢迎的选择之一

  1. 从单个用户查询中提取数据
  2. 使用 asyncio 并行处理多个用户
  3. 使用 Iterable 流式传输多个对象，以便它们按需可用

Logfire

介绍

Logfire 是一个来自 Pydantic 创作者的新可观测性平台。它与您许多喜爱的库（如 Pydantic、HTTPx 和 Instructor）几乎无缝集成。在本文中，我们将向您展示如何将 Logfire 与 Instructor 一起使用，以深入了解整个应用程序的性能。

我们将介绍以下示例

  1. 使用 Instructor 对诈骗邮件进行分类
  2. 使用 llm_validator 执行简单验证
  3. 使用 GPT4V 从信息图中将数据提取到 Markdown 表格中