深度学习优化器核心笔记

内容概览

从反向传播的多路径误差讲起,串起 指数加权移动平均(EWMA)→ 偏差修正 → 主流优化器演进(Adagrad / RMSprop / Momentum / Adam / AdamW),并回答两个高频疑问:动量与自适应学习率到底区别在哪、为什么 LLM 仍用 Adam/AdamW。

目录

  1. 一、反向传播与权重更新(基础)
  2. 二、优化器核心概念
  3. 三、核心优化器对比
  4. 四、动量 vs 自适应学习率(关键区别)
  5. 五、稀疏数据与 LLM 的优化器选择
  6. 六、中文 vs 英文:稀疏性与 Token 效率
  7. 七、一句话总结

一、反向传播与权重更新(基础)

1.1 误差反向传播不是“二选一”

在神经网络中,当隐藏层节点(如 h1)连接到多个输出节点(如 o1、o2)时,反向传播时不能只选一个路径,必须把来自所有输出节点的误差贡献加权相加。

以更新 w1 为例(h1 → o1 和 h1 → o2):

  • (\delta{o1}, \delta{o2}):o1、o2 的误差
  • (w5, w6):h1 到 o1、o2 的权重
  • 必须加权相加,不能直接相加误差,也不能只选一条路径。

为什么? 因为 h1 的输出同时影响了 o1 和 o2,所以 h1 的误差梯度必须包含两条路径的贡献。忽略任何一条都会导致梯度计算错误。


二、优化器核心概念

2.1 什么是指数加权移动平均(EWMA)

  • S:State(状态/统计量),记录历史信息的累积
  • Y:观测值(如当前梯度平方)
  • β:衰减率(通常 0.9)

直观理解:每次倒掉 90% 旧记忆(乘以 β),放入 10% 新信息(乘以 1-β)。历史信息权重按 (\beta^t) 指数衰减,时间越久影响越小。

2.2 冷启动偏差与偏差修正

初期 (S_0 = 0),导致 (S_t) 严重偏小(如第一步只有真实值的 10%),学习率被异常放大,容易导致训练不稳定。

修正方法:

  • (t=1) 时,(1-\beta^1 = 0.1),修正后还原真实大小
  • (t) 很大时,(1-\beta^t \approx 1),修正自动失效,不再影响

本质:偏差修正是为了抵消初期 (S_0=0) 带来的冷启动偏差,让优化器从第一步就能用上正常的步长。

2.3 符号约定

  • ⊙(圆圈中点):逐元素操作,即哈达玛积(对应位置相乘,形状不变)
  • 区别于矩阵乘法(行乘列求和,形状改变)和克罗内克积(⊗,维度放大)

三、核心优化器对比

3.1 Adagrad:无脑累加

  • 分母 (\sqrt{S_t}) 单调递增,有效学习率趋近 0
  • 优点:稀疏数据上给低频参数超大学习率(因为低频参数 (S_t) 小,分母小,步长大)
  • 缺点:后期学不动(早停),因为分母无限膨胀

3.2 RMSprop:引入遗忘机制

  • 分母不会无限变大,学习率动态波动
  • RMS = Root Mean Square(均方根),衡量历史梯度大小
  • 优点:解决 Adagrad 早停,适合稀疏数据
  • 本质:给历史梯度加“遗忘门”,主动遗忘久远信息

3.3 Momentum:平滑方向

  • 只平滑梯度方向,所有参数共用全局学习率
  • 解决方向震荡,加速通过平坦区
  • 本质:给优化过程加惯性,让方向更稳定

3.4 Adam:动量 + 自适应

  • Adam = Adaptive Moment Estimation(自适应矩估计)
  • 一阶矩:梯度均值 → 动量,平滑方向
  • 二阶矩:梯度平方均值 → 自适应学习率,调整步长
  • 偏差修正:(\hat{m}_t = m_t / (1-\beta_1^t)),(\hat{v}_t = v_t / (1-\beta_2^t))

为什么叫“矩”? 统计学中,一阶矩是均值 (E[X]),二阶矩是平方均值 (E[X^2])。Adam 同时估计这两个矩,所以叫“自适应矩估计”。

3.5 AdamW:解耦权重衰减

  • W = Weight Decay(权重衰减)
  • 解决的问题:Adam 中 L2 正则化混入梯度后,会被自适应学习率缩放,导致正则化力度不可控
  • 解决方案:权重衰减单独作用于参数,不再混入梯度
  • LLM 训练标配

四、动量 vs 自适应学习率(关键区别)

特性动量法 (Momentum)自适应学习率 (RMSprop/Adagrad)
平滑什么梯度方向(历史梯度平均)更新步长(历史梯度平方平均)
作用维度跨时间步,抑制方向震荡跨参数,自动调整步长
是否改变学习率不改变,全局共用 η改变,每个参数有自己的 η_t
解决的核心问题往哪走(方向)走多大步(幅度)

比喻:动量是“带惯性的滑板”(解决方向震荡),自适应是“智能调节的鞋子”(解决步长不一)。Adam = 两者结合,互不干扰。


五、稀疏数据与 LLM 的优化器选择

5.1 稀疏数据(传统 NLP)

  • 词表大,每次只有少数 token 有梯度(大部分梯度为 0)
  • Adagrad/RMSprop 给低频参数超大学习率,高频参数小学习率
  • Adam 劣势:动量被大量 0 梯度稀释,稀疏特征更新被平滑掉

5.2 为什么 LLM 仍用 Adam/AdamW?

  1. Transformer 主体是稠密的:Attention/FFN 占 90%+ 参数,每次全部更新
  2. 梯度尺度差异极大:需要二阶矩自适应归一化
  3. 训练极不稳定:需要一阶矩平滑方向
  4. 稀疏问题被工程解决:Embedding 层单独用 SparseAdam 或 Byte-level BPE
  5. 子词分词缓解稀疏:罕见词拆成常见子词,频率分布更均匀

结论:Adam 的平稳收益 >> 稀疏处理劣势。


六、中文 vs 英文:稀疏性与 Token 效率

6.1 稀疏性对比

维度中文英文
字符集大小常用 3000-5000 字26 个字母
词表大小字级别 2-3 万BPE 后 3-5 万
稀疏性汉字总量少,分布均匀,不比英语高未做 BPE 时极稀疏
真正挑战Token 效率低(信息密度低)长尾生僻词多

6.2 Token 效率矛盾

  • 视觉上:中文更短(汉字信息密度高)
  • Token 数上:中文通常更多(词表对中文覆盖不足,很多词被拆成单字)
  • 原因:LLM 词表以英语为主,中文词常被拆成单字
  • 影响:中文占用更多上下文窗口,训练推理成本更高
  • 改进:扩大中文词表,优化中文 BPE 策略(如 Qwen、ChatGLM)

一句话:中文视觉短,是因为汉字信息密度高;中文 token 数多,是因为 LLM 词表对中文的合并不够充分。两者不矛盾。


七、一句话总结

概念核心要点
反向传播多路径误差必须加权相加
EWMA指数衰减,关注近期梯度
偏差修正解决初期冷启动偏差
Adagrad无脑累加,稀疏数据好,但会早停
RMSprop引入遗忘,解决早停
Momentum平滑方向,不改变学习率
Adam动量 + 自适应,LLM 首选
AdamW解耦权重衰减,LLM 标配
中文 token视觉短但 token 多,词表覆盖不足

相关笔记