终于可以拥有自己的GPT-3.5微调模型了

396 阅读2分钟

重大消息!重大消息!重大消息!

OpenAI API支持GPT-3.5的微调模型(Fine-tuning)

image.png

(2023年8月22日OpenAI发布API更新)

Open AI fine-tuning Documents

1、Fine-tuning是什么?

Fine-tuning是微调的意思,是用别人训练好的模型(即pre-trained model),加上我们自己的数据,来训练新的模型。 那么在网络的微调中,我们的整个流程分为以下几步:

  1. 依然是准备好我们的训练数据和测试数据
  2. 计算数据集的均值文件,因为集中特定领域的图像均值文件会跟ImageNet上比较General的数据的均值不太一样
  3. 修改网络最后一层的输出类别,并且需要加快最后一层的参数学习速率
  4. 调整Solver的配置参数,通常学习速率和步长,迭代次数都要适当减少
  5. 启动训练,并且需要加载pretrained模型的参数

OpenAI提供的API完全封装了以上过程,我们至少需要把注意力集中到准备我们的训练数据上即可。

2、Fine-tuning能为我们带来什么?

通过对GPT-3.5的Fine-tunning,就可以得到我们自己的LLM,他是独一无二的,可以应用到制定企业中。

3、如何调用Fine-tuning?

3.1、如果你有官方的API账号,直接调用官方接口就可以实现

# GPT-3.5 Turbo fine-tuning and API updates

# Open AI fine-tuning API Documents

3.2、如果你不是技术人员,只是想基于GPT-3.5训练自己的模型,那么可以使用下面的工具

  1. 网页访问web.felh.xyz, 注册账号即可获得与AI对话的能力,默认可支持GPT-3.5、GPT-3.5-16K以及GPT-4模型。
image.png image.png image.png
  1. 通过左下角菜单中【个人微调模型(Fine-tuning Model)】,可上传自己的训练集,训练自己基于GPT-3.5微调后的模型。
image.png image.png
  1. 在【聊天设置】中可切换成咱们自己的模型
image.png