# 前言谨以此文记录踩坑实况，一则日后温习，二则指路旁人 # llamafactory微调 ## 1.启动llamafactory可视化页面选择模型 docker部署完成后 ```bash #运行此命令进入容器内部 docker exec -it llamafactory /bin/bash # 启动可视化页面 llamafactory-cli webui ``` ![image.png](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/aac3f3fe545348358d0ba81d32410a75~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAgSmFoem8=:q75.awebp?rk3s=f64ab15b&x-expires=1767393487&x-signature=JZ3vv%2B3FKXA8iwr0p%2Fi0n91T2ko%3D)
然后在本机访问localhost:7860 ![image.png](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/097b331af6eb455ab0e6434af7101fd7~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAgSmFoem8=:q75.awebp?rk3s=f64ab15b&x-expires=1767393487&x-signature=3V6gXNnbrmMO9PJaLEpBXin5Tsw%3D) 语言和需要的模型，在此选择后，模型路径会自动填充，启动训练时会自动向huggingface下载base模型，但由于国内原因，可能无法访问到huggingface，可以选择设置魔搭下载地址
```bash set USE_MODELSCOPE_HUB=1 ``` 或者使用本地地址，这边是使用了本地地址首先在[魔搭社区](https://modelscope.cn/models/LLM-Research)选择需要的文件git 拉取到本地
第一次需要安装git-lfs ```bash git lfs install ``` 然后选择需要的模型地址git clone即可 ## 文件映射由于我们使用的是docker部署的llamafactory，因此调用模型前，需要将本地的模型文件夹映射到docker镜像中，建议一并设置多个路径用以存放微调后的模型文件，命令行中输入多个映射对即可 ```bash docker run -v <本地存放目录>:<容器目录> <镜像名称> <本地存放目录>:<容器目录> <镜像名称> ``` 然后在模型路径中填写该文件在docker镜像的地址
## 继续选择参数 ![image.png](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/241feefbcffd4f13adcdf32a0d83e21a~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAgSmFoem8=:q75.awebp?rk3s=f64ab15b&x-expires=1767393487&x-signature=DYl0w1UUkuDLZwtbg0PNDrLPMp0%3D) ## 数据集设置提示模板一定要选取，不同模型对应的模板也是不尽相同的，如果有自定义格式文件，可导入到镜像中，然后在data\_info.json中进行注册,否则无法在列表选择 ![image.png](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/2a1b2c5211834d5ba6c1ba40ab3ecce9~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAgSmFoem8=:q75.awebp?rk3s=f64ab15b&x-expires=1767393487&x-signature=0De71sntv0rQ%2B13Lgf8W2fsg53M%3D) 然后是比较关键的几个参数，对训练结果影响巨大 ![image.png](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/8e9da52522584852872f003b035a249f~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAgSmFoem8=:q75.awebp?rk3s=f64ab15b&x-expires=1767393487&x-signature=A7c9VUAIKf34crqCY5nMbaoJPb4%3D) 选择数据集后，学利率可以选择默认5e-5 ```bash #学习率 #学习率越低，训练越准确，相应的时间会更长 #对于llama3.1-8b 选择低一点的学习率比较好 #轮数 #训练轮次 #最大样本数 #即为'训练时在提供的每个数据集最多提取多少个样子进行训练' #数据集较多的情况下建议适当设置更小的参数 ``` ## 训练轮数（！！！）轮数的设置目前没有更好的办法，全凭经验对新手是不友好的，比较推荐的方案是设置一个相当大的轮数，在训练过程中关注loss曲线，当曲线越趋近于平滑，说明训练已经接近完成，此时应手动停止训练以避免过拟合 ![image.png](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/26cd03a8d0404cd7bdd9088ea034c895~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAgSmFoem8=:q75.awebp?rk3s=f64ab15b&x-expires=1767393487&x-signature=bDv8l6zK7OHwAHJxNKorc1QNGAo%3D) 当然也支持命令行调用训练的方式 ![image.png](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/1bf27782ccb44f50a81c0d67b9303db1~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAgSmFoem8=:q75.awebp?rk3s=f64ab15b&x-expires=1767393487&x-signature=AhDm%2B835IJq%2F0WIqGQQvDKnVEPQ%3D) # 测试和导出切换chat Tab ![image.png](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/30cd7c7339ba48369443ee88b9a0a837~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAgSmFoem8=:q75.awebp?rk3s=f64ab15b&x-expires=1767393487&x-signature=cWL7%2FlaUOLfu4XDMJeD6WR0QeWc%3D) 补全上次训练的检查点路径加载，即可发起对话，此时您可以初步判断训练效果了（留坑，后续更新ragas评估）
切换export Tab ，选择上次训练的检查点，填写导出目录（注意：需填写docker镜像内部目录），如果您目录已经映射本地，则可以在本地文件中查看到训练后的safetensors文件 ![image.png](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/eb716cdcf182453cb5688a20ea55bfc5~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAgSmFoem8=:q75.awebp?rk3s=f64ab15b&x-expires=1767393487&x-signature=N51asDciuP%2FVGXNM%2FIxItl6MdJ8%3D) llamafactory就到此完成，后续会更新借助llama.cpp的量化和ollama部署