重磅！GPT-3.5 Turbo 开放模型微调功能

AI最新追踪
384 阅读3分钟

您的关注是对我最大的支持👇

image.png

现在，开发者可以使用自己的数据来定制 GPT-3.5 Turbo，以适应他们的用例。

现在可以对 GPT-3.5 Turbo 进行精细调整，而 GPT-4 的精细调整将于今年秋季推出。此更新使开发者能够定制适用于其用例的模型，并以大规模运行这些定制模型。初步测试显示，经过精细调整的 GPT-3.5 Turbo 版本在某些狭窄任务上可以与甚至超过基础 GPT-4 的能力。与我们所有的 API 一样，传入和传出精细调整 API 的数据归客户所有，OpenAI 或任何其他组织都不会使用这些数据来训练其他模型。

自从发布 GPT-3.5 Turbo 以来，开发者和企业一直希望能够定制该模型，为用户创建独特且有差异化的体验。通过这次发布，开发者现在可以运行有监督的精细调整，以使该模型在其用例中表现更好。

在我们的私人测试版中，进行了精细调整的客户已经能够显著改善模型在常见用例中的性能，例如：

改进可操控性：精细调整使企业能够更好地让模型遵循指令，例如使输出更简洁或始终以特定语言回应。例如，开发者可以使用精细调整来确保模型在要求使用德语时始终以德语回应。

可靠的输出格式化：精细调整改进了模型始终一致地格式化回应的能力，这对于需要特定回应格式的应用程序非常重要，例如代码补全或组合 API 调用。开发者可以使用精细调整来更可靠地将用户提示转换为高质量的 JSON 片段，以便与他们自己的系统一起使用。

定制语气：精细调整是改进模型输出的定性感觉（例如语气）的好方法，使其更符合企业品牌的声音。具有可辨识品牌声音的企业可以使用精细调整，使模型在语气上更加一致。

除了提高性能外，精细调整还使企业能够缩短提示的长度，同时确保相似的性能。通过与之前的精细调整模型相比，使用 GPT-3.5-Turbo 进行精细调整可以处理 4k 个标记，是之前的两倍。早期测试者通过将指令精细调整到模型本身中，将提示大小缩小了多达 90%，加快了每个 API 调用的速度并降低了成本。

精细调整与其他技术（如提示工程、信息检索和函数调用）结合使用时效果最佳。请查阅我们的精细调整指南以了解更多信息。支持使用函数调用和 gpt-3.5-turbo-16k 进行精细调整将在今年秋季后期推出。

微调步骤

1. 准备你的数据

{
  "messages": [
    { "role": "system", "content": "You are an assistant that occasionally misspells words" },
    { "role": "user", "content": "Tell me a story." },
    { "role": "assistant", "content": "One day a student went to schoool." }
  ]
}

2. 上传文件

curl -https://api.openai.com/v1/files \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "purpose=fine-tune" \
  -F "file=@path_to_your_file"

3. 创建微调任务

curl https://api.openai.com/v1/fine_tuning/jobs \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "training_file": "TRAINING_FILE_ID",
  "model": "gpt-3.5-turbo-0613",
}'

4. 使用微调模型

curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "model": "ft:gpt-3.5-turbo:org_id",
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that occasionally misspells words"
    },
    {
      "role": "user",
      "content": "Hello! What is fine-tuning?"
    }
  ]
}'

安全性

对于我们来说，精细调整的部署非常重要。为了通过精细调整过程保留默认模型的安全功能，精细调整的训练数据会经过我们的 Moderation API 和由 GPT-4 驱动的审查系统，以检测与我们的安全标准冲突的不安全训练数据。

关注我，跟踪最新AI消息

明日预告

《聊天机器人预热-AI基础系列文章第11篇》

通过使用第一个提示来 "预热" 聊天机器人，从而设定对话的结构和风格。这样可以让您对整个对话有精细的控制。

avatar
文章
阅读
粉丝