RMSNorm vs LayerNorm

核心观点

RMSNorm 并非在所有场景都优于 LayerNorm,其核心优势是更高效,在现代 LLM 中能保持与 LayerNorm 相当的效果。


公式对比

LayerNorm(需计算均值 μ 和方差 σ²):

y = (x - μ) / sqrt(σ² + ε) * γ + β

RMSNorm(只需计算均方根 RMS):

y = x / RMS(x) * γ     其中 RMS(x) = sqrt(mean(x²))

为什么 RMSNorm 更受现代 LLM 青睐

1. 计算更快

  • LayerNorm 需要计算两个统计量:均值 + 方差
  • RMSNorm 只需一个:均方根(平方 → 求和 → 开根)
  • 实测节省约 7%~64% 的计算开销,大模型训练/推理中累积收益显著

2. 去掉了「中心化」操作

  • LayerNorm 会减去均值,将分布强制平移到均值为 0
  • RMSNorm 只做尺度缩放,不改变分布的均值偏移
  • 研究表明:在 Transformer 中,中心化操作带来的收益极小,去掉几乎不影响效果

3. Pre-Norm 结构下中心化作用被大幅削弱

结构说明推荐归一化
Post-Norm(BERT、GPT-1/2)先做注意力/FFN,再归一化LayerNorm(中心化稳定梯度)
Pre-Norm(现代 LLM)先归一化,再做注意力/FFNRMSNorm(够用且更快)

Pre-Norm 结构中,残差连接本身已能很好地稳定梯度,LayerNorm 的中心化变得冗余。


主流模型的选择

模型系列归一化方式
GPT-3、早期 TransformerLayerNorm
Llama 1/2/3(Meta)RMSNorm
MistralRMSNorm
Gemma(Google)RMSNorm

总结

在 Pre-Norm 结构的现代 LLM 中,RMSNorm 以更低的计算成本达到与 LayerNorm 相当的效果,是更优的工程选择。

若使用小模型、Post-Norm 结构,或任务对分布偏移敏感,LayerNorm 仍可能更合适。