深度学习优化器核心笔记
内容概览
从反向传播的多路径误差讲起,串起 指数加权移动平均(EWMA)→ 偏差修正 → 主流优化器演进(Adagrad / RMSprop / Momentum / Adam / AdamW),并回答两个高频疑问:动量与自适应学习率到底区别在哪、为什么 LLM 仍用 Adam/AdamW。
目录
- 一、反向传播与权重更新(基础)
- 二、优化器核心概念
- 三、核心优化器对比
- 四、动量 vs 自适应学习率(关键区别)
- 五、稀疏数据与 LLM 的优化器选择
- 六、中文 vs 英文:稀疏性与 Token 效率
- 七、一句话总结
一、反向传播与权重更新(基础)
1.1 误差反向传播不是“二选一”
在神经网络中,当隐藏层节点(如 h1)连接到多个输出节点(如 o1、o2)时,反向传播时不能只选一个路径,必须把来自所有输出节点的误差贡献加权相加。
以更新 w1 为例(h1 → o1 和 h1 → o2):
- (\delta{o1}, \delta{o2}):o1、o2 的误差
- (w5, w6):h1 到 o1、o2 的权重
- 必须加权相加,不能直接相加误差,也不能只选一条路径。
为什么? 因为 h1 的输出同时影响了 o1 和 o2,所以 h1 的误差梯度必须包含两条路径的贡献。忽略任何一条都会导致梯度计算错误。
二、优化器核心概念
2.1 什么是指数加权移动平均(EWMA)
- S:State(状态/统计量),记录历史信息的累积
- Y:观测值(如当前梯度平方)
- β:衰减率(通常 0.9)
直观理解:每次倒掉 90% 旧记忆(乘以 β),放入 10% 新信息(乘以 1-β)。历史信息权重按 (\beta^t) 指数衰减,时间越久影响越小。
2.2 冷启动偏差与偏差修正
初期 (S_0 = 0),导致 (S_t) 严重偏小(如第一步只有真实值的 10%),学习率被异常放大,容易导致训练不稳定。
修正方法:
- (t=1) 时,(1-\beta^1 = 0.1),修正后还原真实大小
- (t) 很大时,(1-\beta^t \approx 1),修正自动失效,不再影响
本质:偏差修正是为了抵消初期 (S_0=0) 带来的冷启动偏差,让优化器从第一步就能用上正常的步长。
2.3 符号约定
- ⊙(圆圈中点):逐元素操作,即哈达玛积(对应位置相乘,形状不变)
- 区别于矩阵乘法(行乘列求和,形状改变)和克罗内克积(⊗,维度放大)
三、核心优化器对比
3.1 Adagrad:无脑累加
- 分母 (\sqrt{S_t}) 单调递增,有效学习率趋近 0
- 优点:稀疏数据上给低频参数超大学习率(因为低频参数 (S_t) 小,分母小,步长大)
- 缺点:后期学不动(早停),因为分母无限膨胀
3.2 RMSprop:引入遗忘机制
- 分母不会无限变大,学习率动态波动
- RMS = Root Mean Square(均方根),衡量历史梯度大小
- 优点:解决 Adagrad 早停,适合稀疏数据
- 本质:给历史梯度加“遗忘门”,主动遗忘久远信息
3.3 Momentum:平滑方向
- 只平滑梯度方向,所有参数共用全局学习率
- 解决方向震荡,加速通过平坦区
- 本质:给优化过程加惯性,让方向更稳定
3.4 Adam:动量 + 自适应
- Adam = Adaptive Moment Estimation(自适应矩估计)
- 一阶矩:梯度均值 → 动量,平滑方向
- 二阶矩:梯度平方均值 → 自适应学习率,调整步长
- 偏差修正:(\hat{m}_t = m_t / (1-\beta_1^t)),(\hat{v}_t = v_t / (1-\beta_2^t))
为什么叫“矩”? 统计学中,一阶矩是均值 (E[X]),二阶矩是平方均值 (E[X^2])。Adam 同时估计这两个矩,所以叫“自适应矩估计”。
3.5 AdamW:解耦权重衰减
- W = Weight Decay(权重衰减)
- 解决的问题:Adam 中 L2 正则化混入梯度后,会被自适应学习率缩放,导致正则化力度不可控
- 解决方案:权重衰减单独作用于参数,不再混入梯度
- LLM 训练标配
四、动量 vs 自适应学习率(关键区别)
| 特性 | 动量法 (Momentum) | 自适应学习率 (RMSprop/Adagrad) |
|---|---|---|
| 平滑什么 | 梯度方向(历史梯度平均) | 更新步长(历史梯度平方平均) |
| 作用维度 | 跨时间步,抑制方向震荡 | 跨参数,自动调整步长 |
| 是否改变学习率 | 不改变,全局共用 η | 改变,每个参数有自己的 η_t |
| 解决的核心问题 | 往哪走(方向) | 走多大步(幅度) |
比喻:动量是“带惯性的滑板”(解决方向震荡),自适应是“智能调节的鞋子”(解决步长不一)。Adam = 两者结合,互不干扰。
五、稀疏数据与 LLM 的优化器选择
5.1 稀疏数据(传统 NLP)
- 词表大,每次只有少数 token 有梯度(大部分梯度为 0)
- Adagrad/RMSprop 给低频参数超大学习率,高频参数小学习率
- Adam 劣势:动量被大量 0 梯度稀释,稀疏特征更新被平滑掉
5.2 为什么 LLM 仍用 Adam/AdamW?
- Transformer 主体是稠密的:Attention/FFN 占 90%+ 参数,每次全部更新
- 梯度尺度差异极大:需要二阶矩自适应归一化
- 训练极不稳定:需要一阶矩平滑方向
- 稀疏问题被工程解决:Embedding 层单独用 SparseAdam 或 Byte-level BPE
- 子词分词缓解稀疏:罕见词拆成常见子词,频率分布更均匀
结论:Adam 的平稳收益 >> 稀疏处理劣势。
六、中文 vs 英文:稀疏性与 Token 效率
6.1 稀疏性对比
| 维度 | 中文 | 英文 |
|---|---|---|
| 字符集大小 | 常用 3000-5000 字 | 26 个字母 |
| 词表大小 | 字级别 2-3 万 | BPE 后 3-5 万 |
| 稀疏性 | 汉字总量少,分布均匀,不比英语高 | 未做 BPE 时极稀疏 |
| 真正挑战 | Token 效率低(信息密度低) | 长尾生僻词多 |
6.2 Token 效率矛盾
- 视觉上:中文更短(汉字信息密度高)
- Token 数上:中文通常更多(词表对中文覆盖不足,很多词被拆成单字)
- 原因:LLM 词表以英语为主,中文词常被拆成单字
- 影响:中文占用更多上下文窗口,训练推理成本更高
- 改进:扩大中文词表,优化中文 BPE 策略(如 Qwen、ChatGLM)
一句话:中文视觉短,是因为汉字信息密度高;中文 token 数多,是因为 LLM 词表对中文的合并不够充分。两者不矛盾。
七、一句话总结
| 概念 | 核心要点 |
|---|---|
| 反向传播 | 多路径误差必须加权相加 |
| EWMA | 指数衰减,关注近期梯度 |
| 偏差修正 | 解决初期冷启动偏差 |
| Adagrad | 无脑累加,稀疏数据好,但会早停 |
| RMSprop | 引入遗忘,解决早停 |
| Momentum | 平滑方向,不改变学习率 |
| Adam | 动量 + 自适应,LLM 首选 |
| AdamW | 解耦权重衰减,LLM 标配 |
| 中文 token | 视觉短但 token 多,词表覆盖不足 |
相关笔记
- 大模型训练推理框架对比 — 训练/推理框架横向对比
- 大模型微调与灾难性遗忘——LoRA解析 — 全量微调遗忘机制 + LoRA 缓解
- DeepSeek-MLA满秩高熵应对 — 高维训练压低秩(MLA)与优化稳定性
- 大模型训练注意力崩塌怎么办 — 注意力熵暴跌与训练稳定性
- 归一化与相似度等价关系 — 归一化与相似度
- RMSNorm_vs_LayerNorm — 归一化层对比
- AI 大模型 MOC — 主题导航