使用 Groq 的结构化输出

现在，除了使用 openai 或 anthropic，你也可以通过使用 from_groq 来使用 groq 进行推理。

示例使用的是 mixtral-8x7b 模型。

GroqCloud API

要使用 groq，你需要获取一个 groq API 密钥。前往 groqcloud 并登录。从左侧菜单中选择 API Keys，然后选择 Create API key 来创建新密钥。

使用示例

使用示例需要安装一些 pip 包

pip install instructor groq pydantic openai anthropic

你需要导出 groq API 密钥

export GROQ_API_KEY=<your-api-key>

一个示例

import os
from pydantic import BaseModel, Field
from typing import List
from groq import Groq
import instructor


class Character(BaseModel):
    name: str
    fact: List[str] = Field(..., description="A list of facts about the subject")


client = Groq(
    api_key=os.environ.get('GROQ_API_KEY'),
)

client = instructor.from_groq(client, mode=instructor.Mode.TOOLS)

resp = client.chat.completions.create(
    model="mixtral-8x7b-32768",
    messages=[
        {
            "role": "user",
            "content": "Tell me about the company Tesla",
        }
    ],
    response_model=Character,
)
print(resp.model_dump_json(indent=2))
"""
{
  "name": "Tesla",
  "fact": [
    "electric vehicle manufacturer",
    "solar panel producer",
    "based in Palo Alto, California",
    "founded in 2003 by Elon Musk"
  ]
}
"""

你可以在此仓库的 examples/groq 下找到另一个名为 groq_example2.py 的示例。