使用 Mistral 进行结构化输出¶

现在您还可以使用 from_mistral 来使用 mistralai 模型进行推理。

示例使用的是 mistral-large-latest。

MistralAI API¶

要使用 mistral，您需要获取 mistral API 密钥。前往 mistralai，点击 Build Now 并登录。从左侧菜单中选择 API Keys，然后选择 Create API key 创建新密钥。

使用示例¶

使用示例需要安装一些 pip 包

pip install instructor mistralai pydantic

您需要导出 mistral API 密钥

export MISTRAL_API_KEY=<your-api-key>

一个示例

import os
from pydantic import BaseModel
from mistralai import Mistral
from instructor import from_mistral, Mode


class UserDetails(BaseModel):
    name: str
    age: int


# enables `response_model` in chat call
client = Mistral(api_key=os.environ.get("MISTRAL_API_KEY"))

instructor_client = from_mistral(
    client=client,
    model="mistral-large-latest",
    mode=Mode.MISTRAL_TOOLS,
    max_tokens=1000,
)

resp = instructor_client.messages.create(
    response_model=UserDetails,
    messages=[{"role": "user", "content": "Jason is 10"}],
    temperature=0,
)

print(resp)
#> name='Jason' age=10

# output: UserDetails(name='Jason', age=10)