API开发¶

使用 Cerebras Inference 引入结构化输出

Cerebras 提供市场上最快的推理速度，比 GPU 快 20 倍。

在 cloud.cerebras.ai 注册以获取 Cerebras Inference API 密钥。

要使用 Cerebras Inference 获得有保证的结构化输出，您需要

Instructor 扩展了其对语言模型的能力。它始于通过 OpenAI SDK 进行 API 交互，并使用 Pydantic 进行结构化数据验证。现在，Instructor 支持多种模型和平台。

JSON 模式的集成提高了对视觉模型和开源替代方案的适应性。这使得从 GPT 和 Mistral 的模型到 Ollama 和 Hugging Face 上的模型都能得到支持，使用 llama-cpp-python。

Instructor 现在可与基于云的 API 和本地模型配合使用，以提取结构化数据。开发者可以参考我们的 Patching 指南，了解如何在不同模型中使用 JSON 模式的信息。

要了解 Instructor 和 Pydantic，我们提供了一门关于引导语言模型生成结构化输出的课程。

以下部分展示了 Instructor 如何与平台和本地设置集成，以在 AI 项目中实现结构化输出的示例。