在基础的参数微调（LoRA）之后，为了进一步提升模型在复杂场景下的表现——例如更聪明的对话响应和更长文档的处理能力，我们需要引入更精细的数学调优手段。
一、 NEFTune：给 Embedding “喂点噪”
NEFTune (Noisy Embedding Fine-Tuning) 是一种在微调阶段向词嵌入层注入噪声的简单技巧。研究表明，这一操作能显著提升模型在 AlpacaEval 等指令遵循榜单上的得分。
1. 核心原理
在 SFT（监督微调）或对齐阶段，模型很容易对训练数据的表述产生过拟合（即“死记硬背”）。NEFTune 通过在词向量上叠加微小的随机噪声，起到了一种“磨砂滤镜”的作用：
- 强制抽象：迫使模型忽略 Token 表面微小的数值波动，专注于更高层的语义特征。
- 缓解对齐税：使模型在变得听话的同时，保留了预训练阶段的灵活性，减少呆板回复。
2. 数学实现
在训练的前向传播中，对输入词向量 进行如下扰动： 其中 为序列长度， 为向量维度， 为可调的噪声强度系数（通常设为 5 或 10）。
二、 长度外推 (Length Extrapolation)
当预训练窗口为 8k 的模型需要处理 32k 甚至 128k 的文档时，位置编码（Position Embedding）会超出定义的范围，导致模型逻辑崩溃。长度外推旨在通过修改位置编码的计算逻辑来突破这一限制。
1. 基于 RoPE (旋转位置编码) 的缩放
现代模型（如 Llama, Mistral, Qwen）多采用 RoPE。要实现长度外推，核心在于对旋转频率进行“缩放”：
- 线性缩放 (Linear Scaling)： 简单地将位置索引除以缩放倍数。缺点：会丢失高频信息，导致模型对近距离 Token 的感知变模糊。
- NTK-aware Scaling： 不均匀地缩放不同频率的维度。保留高频部分的精度，拉伸低频部分。
- YaRN (Yet another RoPE Network)： 目前效果最好的工业级方案。它通过对不同频率分量进行精细化的比例修正，确保模型在长文本下依然保持极高的困惑度（Perplexity）稳定性。
2. 实战工程建议
- KV Cache 挑战：长度外推会带来显存开销的线性甚至二次方增长。必须配合 Flash Attention 2/3 和 Paged Attention 才能跑通。
- 微调必要性：虽然 YaRN 支持部分“零样本”外推，但为了保证质量，通常需要在长文本数据集（如 LongAlpaca）上进行针对性的 SFT。
📊 进阶调优对比表
| 技术名称 | 解决的问题 | 核心收益 | 推荐场景 |
|---|---|---|---|
| NEFTune | 模型回复死板、过拟合 | 提升指令遵循能力、增加灵性 | 对话助手、创意写作、通用对齐 |
| RoPE Scaling | 无法处理超长文档 | 扩展上下文窗口 (Context Window) | 法律文书分析、长篇代码审阅、研报总结 |
💡 总结
- NEFTune 是性价比极高的“免费午餐”，只需在训练代码中加入几行噪声生成逻辑。
- 长度外推 是垂直领域应用（如金融、医疗）的刚需，但对显存管理和网络同步（通信开销）提出了更高要求。
