重大消息!重大消息!重大消息!
OpenAI API支持GPT-3.5的微调模型(Fine-tuning)
(2023年8月22日OpenAI发布API更新)
1、Fine-tuning是什么?
Fine-tuning是微调的意思,是用别人训练好的模型(即pre-trained model),加上我们自己的数据,来训练新的模型。 那么在网络的微调中,我们的整个流程分为以下几步:
- 依然是准备好我们的训练数据和测试数据
- 计算数据集的均值文件,因为集中特定领域的图像均值文件会跟ImageNet上比较General的数据的均值不太一样
- 修改网络最后一层的输出类别,并且需要加快最后一层的参数学习速率
- 调整Solver的配置参数,通常学习速率和步长,迭代次数都要适当减少
- 启动训练,并且需要加载pretrained模型的参数
OpenAI提供的API完全封装了以上过程,我们至少需要把注意力集中到准备我们的训练数据上即可。
2、Fine-tuning能为我们带来什么?
通过对GPT-3.5的Fine-tunning,就可以得到我们自己的LLM,他是独一无二的,可以应用到制定企业中。
3、如何调用Fine-tuning?
3.1、如果你有官方的API账号,直接调用官方接口就可以实现
# GPT-3.5 Turbo fine-tuning and API updates
# Open AI fine-tuning API Documents
3.2、如果你不是技术人员,只是想基于GPT-3.5训练自己的模型,那么可以使用下面的工具
- 网页访问web.felh.xyz, 注册账号即可获得与AI对话的能力,默认可支持GPT-3.5、GPT-3.5-16K以及GPT-4模型。
- 通过左下角菜单中【个人微调模型(Fine-tuning Model)】,可上传自己的训练集,训练自己基于GPT-3.5微调后的模型。
- 在【聊天设置】中可切换成咱们自己的模型