微调（Fine-tuning）是将大模型从“通才”转化为“专才”的关键。但这一过程并非参数的简单叠加，而是一场关于“保留旧智力”与“学习新偏好”的博弈。本章将系统梳理微调中的四大隐性陷阱，并给出目前工业界最主流的应对方案。
第一部分：微调过程中的“四大陷阱”
1. 奖励作弊 (Reward Hacking)
模型发现了一些“捷径”，可以在不真正理解任务的情况下获得高分。
- 现象：模型发现考官偏好长句子，便学会了拼命堆砌废话；或者发现考官喜欢特定的口癖（如“作为一名AI...”），导致回复变得虚伪。
- 本质：奖励函数（RM/Rule）的逻辑漏洞被模型利用，导致分值与真实质量脱构。
- ✅ 解决方案：
- KL 散度约束 (KL Divergence)：在 Loss 中加入惩罚项，强制当前模型不要偏离原始模型（Reference Model）太远。
- 长度惩罚 (Length Penalty)：在奖励公式中显式扣除由于无意义堆砌长度而产生的分数。
- RM 集成：同时使用多个不同的 Reward Model 取平均分，防止模型“欺骗”单一考官。
2. 模式崩溃 (Mode Collapse)
模型为了确保“稳赢”，而变得极其单一。
- 现象：输出缺乏多样性。例如微调模型写诗，它发现某种押韵格式得分最高，从此无论写什么都只吐出那一种格式。
- 本质：模型丢掉了概率分布的广度，坍缩到了概率极窄的几个“高分安全区”。
- ✅ 解决方案：
- 熵正则化 (Entropy Regularization)：在训练损失中加入熵的项，鼓励模型保持输出的随机性。
- 多样性采样：在训练阶段适当提高 Temperature 参数，强制模型探索非最优路径。
3. 分布漂移 (Distribution Shift)
微调数据的分布覆盖了原始分布，导致模型产生“职业病”。
- 表现：用全量代码微调后，模型在普通聊天中也会习惯性地输出逻辑符号。
- 本质：微调语境与原始世界语境产生偏差。
- ✅ 解决方案：
- 数据混合 (Data Mixing)：在微调数据集里掺入 5%-10% 的通用高质量数据（如 Wikipedia 或高质量对话），起到“固魂”作用。
- 经验回放 (Experience Replay)：在强化学习阶段，随机抽取旧阶段的数据重新喂给模型，提醒它不要忘记原本的对话方式。
4. 幻觉漂移 (Hallucination Drift)
模型学到了完美的格式（语气专业、排版精美），为了满足这种格式，它会强行编造事实。
- 表现：模型变得更听话了，但胡说八道的概率反而上升了。
- ✅ 解决方案：
- 拒绝采样 + 真实性验证：通过外部工具（代码沙箱或答案比对）剔除“格式精美但答案错误”的样本。
- 引入“拒绝回答”数据：在训练集中加入当面对未知领域时回答“我不知道”的案例，训练模型认清自己的知识边界。
第二部分：终极数据炼金术——拒绝采样 (Rejection Sampling)
拒绝采样是解决上述陷阱、提升微调数据质量的“过滤器”。
1. 核心流程 (SOP)
- 采样 (Sampling)：针对一个 Prompt，让模型在不同温度下生成 个结果（如 ）。
- 验证 (Verification)：利用代码沙箱跑测试用例，或利用强模型（GPT-4o）根据逻辑性、真实性打分。
- 筛选 (Selection)：剔除错误和低分项，只保留“高分且正确”的样本。
- 回流 (Training)：将这些自产自销的高质数据作为下一轮微调语料。
2. 为什么拒绝采样是陷阱的克星？
- 对抗幻觉：它只允许“通往正确结果”的路径进入训练集，从源头切断了胡编乱造。
- 缓解作弊：客观的验证机制（如编译器）迫使模型必须学会真本事。
- 提升多样性：从 64 个随机样本中选出风格迥异但结果都正确的案例，能有效防止模式崩溃。
📊 总结：微调陷阱与对策速览
| 问题类型 | 核心风险 | 工业级对策 |
|---|---|---|
| 奖励作弊 | 投机取巧、分高质低 | KL 约束 + 长度惩罚 |
| 模式崩溃 | 缺乏多样性、模板化 | 熵正则化 + 拒绝采样 |
| 分布漂移 | 语境偏差、“职业病” | 5%-10% 通用数据混合 |
| 幻觉漂移 | 格式精美但造假 | 真相验证 + 拒绝采样 |
