以 NLP中常见的输入格式 [B=2, L=3, D=2]（B=批量大小，L=序列长度，D=特征维度）为例，可直观对比 LayerNorm 与 BatchNorm 的核心差异，二者的本质区别是归一化时“统计量的计算范围”完全不同。
示例前提：输入数据
假设模型某层输入为 2 个样本（B=2），每个样本是长度为 3 的序列（L=3），每个序列元素有 2 维特征（D=2），输入数据如下（可理解为 2 个句子，每句 3 个词，每个词用 2 维向量表示）：
# 输入 X: [B, L, D] = [2, 3, 2]
X = [
[[1, 2], # 样本1（句子1）：词1(1,2)、词2(3,4)、词3(5,6)
[3, 4],
[5, 6]],
[[7, 8], # 样本2（句子2）：词1(7,8)、词2(9,10)、词3(11,12)
[9, 10],
[11, 12]]
]
1. BatchNorm 的计算逻辑（同特征，跨样本）
BatchNorm 按“单个特征维度”分组，计算所有样本在该特征上的全局统计量（均值/标准差），再用该统计量归一化所有样本的这个特征。
步骤拆解（以特征维度 D=0 和 D=1 为例）：
- 按特征维度分组：
- 特征 D=0：收集所有样本、所有序列位置的 D=0 特征值 → [1, 3, 5, 7, 9, 11]
- 特征 D=1：收集所有样本、所有序列位置的 D=1 特征值 → [2, 4, 6, 8, 10, 12]
- 计算每组统计量：
- D=0 均值：(1+3+5+7+9+11)/6 = 6；标准差 ≈ 3.464
- D=1 均值：(2+4+6+8+10+12)/6 = 7；标准差 ≈ 3.464
- 归一化：所有样本的 D=0 特征用 D=0 的统计量归一化，D=1 同理。
例如样本1词1的 D=0 归一化后：(1-6)/3.464 ≈ -1.443，D=1 归一化后：(2-7)/3.464 ≈ -1.443。
2. LayerNorm 的计算逻辑（同样本，跨特征）
LayerNorm 按“单个样本”分组，计算该样本所有序列位置、所有特征维度的统计量，再用该统计量归一化这个样本的所有数据。
步骤拆解（以样本1和样本2为例）：
- 按样本分组：
- 样本1：收集该样本所有数据 → [1, 2, 3, 4, 5, 6]
- 样本2：收集该样本所有数据 → [7, 8, 9, 10, 11, 12]
- 计算每组统计量：
- 样本1均值：(1+2+3+4+5+6)/6 = 3.5；标准差 ≈ 1.708
- 样本2均值：(7+8+9+10+11+12)/6 = 9.5；标准差 ≈ 1.708
- 归一化：样本1的所有数据用样本1的统计量归一化，样本2同理。
例如样本1词1的 D=0 归一化后：(1-3.5)/1.708 ≈ -1.464，D=1 归一化后：(2-3.5)/1.708 ≈ -0.878。
3. 核心区别总结（基于示例）
| 对比维度 | BatchNorm（批量归一化） | LayerNorm（层归一化） |
|---|---|---|
| 统计量计算范围 | 跨所有样本，仅针对单个特征维度（如示例中跨2个样本算D=0的均值） | 仅针对单个样本，跨所有特征维度（如示例中仅用样本1的数据算均值） |
| 依赖批量大小 | 强依赖：若B=1，无法跨样本计算统计量，直接失效 | 不依赖：B=1时，仍可计算单个样本的所有特征统计量 |
| 适用场景 | 示例外的CV任务（如图像通道固定，B易做大） | 示例中的NLP任务（如句子长度可变，B常较小） |
