在万亿参数模型的炼制过程中，**数值稳定性（Numerical Stability）**是决定训练成败的生死线。本方案深度解析如何通过精度调度，在压榨硬件算力的同时确保模型不“炸仓”。
一、 数值格式的进化：从 FP16 到 BF16
在大模型微调与预训练中，选择正确的浮点数格式是稳定性的第一步。
1. FP16 (半精度浮点数) 的痛点
- 布局：1位符号，5位指数，10位尾数。
- 缺陷：指数位过窄，最大仅能表示 。在深度网络中，激活值和梯度极易超出此范围导致 NaN (溢出)。
- 代价：必须引入 Loss Scaling (损失缩放) 机制，手动将梯度放大以防下溢，这增加了训练流程的复杂度。
2. BF16 (Brain Floating Point) 的救赎
- 布局：1位符号，8位指数，7位尾数。
- 优势：其指数位长度与 FP32 完全一致。
- 结果：BF16 拥有与 FP32 相同的动态范围（量程）。训练时无需 Loss Scaling，几乎免疫了因数值范围溢出导致的训练崩溃，已成为当前大模型训练的工业标准。
二、 混合精度级别 (Opt-Level) 逻辑拆解
混合精度训练的核心在于：计算用低精度提速，存储用高精度保准。
| 级别 | 名称 | 核心动作 | 适用场景 |
|---|---|---|---|
| O1 | 混合模式 | 黑白名单制：GEMM（矩阵乘法）用低精度，Softmax/LayerNorm 等敏感算子强制 FP32。 | 生产首选，兼顾速度与精度。 |
| O2 | 主权重模式 | 权重全量化：模型权重设为低精度，但在内存中保留一份 FP32 主权重 (Master Weights)。 | 显存受限场景，确保微小梯度更新不丢失。 |
关键机制：主权重更新 由于低精度（如 BF16）尾数太短，微小的梯度更新（如 ）加到权重（如 ）上会因舍入误差直接归零。O2 通过在 FP32 副本上累加梯度，确保了每一轮训练的“微小进步”都能被记录下来。
三、 FP8 革命：DeepSeek 的极致优化方案
DeepSeek-V3 成功跑通了 FP8 训练，将计算效率推向了物理极限。其核心并非简单的降位，而是对数学计算过程的重构。
1. 异构格式协同
DeepSeek 根据前向与反向传播的不同需求，使用了两种 FP8 格式：
- E4M3：4位指数，3位尾数。精度更高，用于前向传播（FPROP），处理相对平稳的激活值。
- E5M2：5位指数，2位尾数。范围更宽，用于反向传播（BPROP），处理波动剧烈、易溢出的梯度。
2. “乘粗加细”：FP32 高精度累加
这是 FP8 不损智商的核心。在进行矩阵乘法 时：
- 点积乘法：在 Tensor Core 内以 FP8 极速完成。
- 结果累加：乘法结果并不存回 FP8，而是直接进入 FP32 累加器。
- 逻辑：数以亿计的乘法误差在统计上会正负抵消。只要最后的“求和”过程足够精确，最终输出的张量精度与纯高精度计算几乎无异。
3. 细粒度分块量化 (Fine-grained Scaling)
FP8 表达能力弱，遇到“离群值”（极大的数值）会导致整体量化崩溃。
- 解法：DeepSeek 将矩阵切分为 的小块 (Blocks)。
- 效果：每个小块拥有独立的缩放因子 。如果某处出现离群值，仅该小块会调整缩放，矩阵其他区域的分辨率不受干扰。
四、 总结：大模型训练精度配置建议
| 环节 | 推荐精度 | 备注 |
|---|---|---|
| 权重存储 (Master Weights) | FP32 | 保证更新步长不被抹除。 |
| 激活值与中间计算 | BF16 / FP8 | 压榨吞吐量，提高计算密度。 |
| Softmax / Norm / Loss | FP32 | 涉及指数或倒数运算，对精度极度敏感。 |
| 通信 (All-Reduce) | BF16 / FP8 | 降低节点间带宽压力，加速分布式训练。 |
一句话总结：FP8 革命的精髓在于“用最粗糙的数字做最多的乘法，用最精确的容器装最后的总和”。
