windows 环境,用命令行对 GPT 模型进行微调

242 阅读1分钟

windows+R打开power shell 1、安装 python 环境 2、安装 openai

pip install --upgrade openai

3、设置 OPENAI_API_KEY

set OPENAI_API_KEY="<OPENAI_API_KEY>"

设置失败的,可以直接打开环境变量设置

4、准备微调数据 这里我们以 kaggle 上的某个数据集为例,下载链接:www.kaggle.com/datasets/eg…

5、数据处理

import pandas as pd df = pd.read_csv('disease_clean_symptoms.csv',header=None,index_col=False,nrows=500,names=['prompt','completion']) df.to_csv("disease_clean_symptoms.csv",index=False)

6、生成 jsonl 文件

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

7、创建微调模型

openai api fine_tunes.create -t <TRAIN_FILE_ID_OR_PATH> -m <BASE_MODEL>

如果出现找不到 OPENAI_API_KEY 的错误信息,重启 Powershell

如果出现如下报错:

Stream interrupted (client disconnected). To resume the stream, run: openai api fine_tunes.follow -i ft-0Ix9yayY635Tg4N5v1DuuRf4

执行命令,对 openai 版本降级

pip install openai==0.25.0

最后:完成信息

Job complete! Status: succeeded 🎉 
Try out your fine-tuned model:

注:过程需要连接到 openai.com