哈喽，大家好！
我是阿星👋
天天听微调，什么微调是好，什么样的算失败呢？
怎么判断训练效果呢？
一般看下面三个指标（小白可读）——
（关于什么是微调可以看之前推过的）
1、训练损失Training Loss
可以先进行3轮学习，每次学完考试，可能会考原题，考的都是训练集里的题。所以当然和答案差距越小说明学的越好。训练损失考察的是依从能力，我们越来越朝着理想的训练结果走。😊
但是训练很多次后你可能发现数值没变，最常见的2个原因就是你数据质量不行，要么就是你数据太少了😭。因为你数据不给力，无法再继续提升了。
2、验证损失Validation Loss
验证损失这个指标，有点像让模型考非原题，我们可能会把训练集中的一部分题抽出来不去训练，等训练完了再坏坏地拿这些没有练过的题让模型回答😂
回答完了之后对比一下，和我们答案对比一下，相差越小成绩越好，说明模型没看所有答案（有一部分没提前学过）但是答对的确比较多🤔。所以验证损失考验的是模型的泛化能力。💪🏻
如果出现这种情
1、训练损失下降（说明答得还行），
2、验证损失没变（泛化没有提升）
又是怎么回事呢？🤔动动你的小脑筋
说明它的泛化能力下降了被阻止前进了，可能出现了过拟合的情况，过拟合的意思你可以理解为有点死脑筋，别的问题回答的没那么好，就针对训练集里的东西会得很。
这个时候唯一的办法就是增加训练集的丰富程度☁️🌧🌩。让它格局打开🚀
3、验证准确率 Validation Token Accuracy
验证准确率，你可以简单看成是验证损失的进一步计算。就是看数据集的prompt的输出结果，和验证集答案的相似度。
4、目前常见的微调工具
常用的有两种，如果你已经在关注微调，相信你已经有技术基础。
1、阿里云百炼
支持通义模型和开源模型
比较主流
成本较低 sft 7B 千条数据全参成本低于10元
2、LLaMA-Factory
开源微调工具
支持大部分开源模型
支持所有微调方式
硬件要求较高，GPU必须有，至少你要要32GB内存以上
之前有写相关教程，小白可以上手体验～👇
零基础也能体验模型微调！魔塔+LLaMa Factory手把手教程
