大模型微调 OOM — 深度解析笔记
这篇把”能跑通 LoRA 脚本但一问细节就卡壳”的题,按 为什么 → 怎么做 → 面试怎么答 拆透。
前提:你已懂 Transformer 结构、BN/Adam 等基础。本文专注量产细节与根因机制,配数字和公式。
一句话
训练/微调的分水岭不在会不会跑脚本,而在四件事:算得清显存、训得快(分布式)、调得准(超参)、平得清(数据+评估)。 面试官用它筛掉”背答案”的候选人。
时间轴速览(面试骨架 → 对应下方原理章节)
| 时间 | 事件 / 追问 | 展开在 |
|---|---|---|
| 00:00 | 事故1:7B + batch=32 第一步 OOM | §一 显存 |
| 00:20 | 事故2:batch=4+梯度累积 → 慢 → 多机 NCCL 报错 | §二 分布式 |
| 00:30 | 事故3:节点抖动 → 无 checkpoint → 3 天白训 | §二.5 续训 |
| 00:40 | 事故4:LR=1e-3 发散 + 脏数据 | §三 超参 / §四 数据 |
| 01:00 | 追问①:梯度检查点/梯度累积/batch 怎么平衡 | §一 / §三 |
| 01:10 | 追问②:显存算 batch、分布式策略、中断恢复 | §一 / §二 |
| 01:20 | 追问③:效果差根因定位(数据/超参/模型) | §三 / §四 |
| 01:30 | 追问④:LoRA rank/alpha、灾难性遗忘、评估 | §三 / §四 |
| 02:20+ | 四大死穴 → 四大方案 → 生产级防御 | §一~§四 -> §五 |
一、显存:为什么 7B 一张卡就爆炸
1.1 显存的四件套(先算清再设 batch)
训练一张卡上同时装着四样东西,不是只有模型权重:
| 组成 | 全量微调(7B, FP32) | 说明 |
|---|---|---|
| 模型权重 W | 7e9 × 4B ≈ 28GB | 这是”7B 全精度 ≈ 28GB / A100 卡不下”的来源 |
| 梯度 ∂L/∂W | ≈ 28GB | 与权重同尺寸 |
| 优化器状态(Adam: m,v) | 2 × 28GB = 56GB | Adam 每参数存一阶矩+二阶矩 |
| 激活值 activations | 动态,往往最大 | 前向暂存供反向用,只有训练才有,推理没有 |
全量微调 7B 光是权重+梯度+优化器就约 112GB,再加激活值,A100(80G) 单卡根本放不下——这就是为什么微调必须上 LoRA 或 PEFT。
LoRA 把哪部分省掉了?
LoRA 冻结原权重,只训两个低秩矩阵 A(B×r)、B(r×A)(W’ = W₀ + BA·(α/r))。
- 可训练参数从 7e9 骤降到每层的 2×r×d(r 常为 8~64,d≈4096 → 每层约 65K~524K),
- 于是梯度、优化器状态只需为这些小矩阵存,不再为全量参数存 84GB。
- 但激活值躲不掉:LoRA 照样做完整前向,所以
batch_size=32第一步照样 OOM——事故1 的真相是”懂 LoRA 却不懂激活值也要占显存”。
1.2 五大手段的原理(面试爱问”为什么”)
-
梯度检查点(Gradient Checkpointing)——用「重算」换「存储」
- 反向传播需要所有层的激活值;默认全存,内存随层数线增长。
- 只存每隔 √L 层的检查点,反向时从最近检查点重算缺失的激活 → 激活内存从 O(L) 降到 O(√L)。
- 代价:多一次前向,FLOPs 约 +30~40%(不是 2×)。它是显存优化里”以算换存”的杠杆。
-
BF16 混合精度——为什么选 BF16 不选 FP16
- FP16:指数 5 位 → 最大值仅 ~65504,训练时梯度跨多数量级,极易下溢到 0 → 必须 Loss Scaling 配合,麻烦且不稳。
- BF16:指数 8 位(和 FP32 相同范围),只牺牲 7 位尾数 → 不会下溢,基本不用 Loss Scaling,是大模型训练首选。
- 做法:master weights 保持 FP32,前向/反向用 BF16 算,每步梯度更新回写。→ 权重/梯度显存约减半。
- 配合公式:
显存 − 单样本占用 = 最大批次;先固定权重/梯度/优化器(量化/精度/分片决定),算出剩余给激活值,再推 batch。
-
梯度累积——把「逻辑 batch」和「单步显存」解耦
- 梯度累积让 N 次微步的梯度累加后再更新一次权重 → 逻辑 batch = 单卡微步 batch × 累积步数 × 卡数。
- 它不占额外显存(累加器就一个梯度副本),只是优化上模拟了大 batch 的稳定性。
- 陷阱(事故2 的由来):batch=4 + 梯度累积只解决了显存,没解决每卡 batch 太小导致的效率下降与训练慢,于是逼你去上分布式。
-
ZeRO 分片——分布式共享,逐阶段砍冗余
- 数据并行里每张卡都存一份完整权重/梯度/优化器,冗余。
- ZeRO-1:只分片优化器状态;ZeRO-2:+分片梯度;ZeRO-3:+分片权重(用时 all-gather)。显存随卡数 N 线性降。
- 与 FSDP(torch.distributed)等价。
1.3 显存监控
实时盯 GPU 利用率 / 显存 / 训练速度 / 梯度范数,异常告警——梯度范数爆炸/消失是最早的失控信号(见 §三)。
二、分布式:慢 → 多卡 → NCCL 天花板
2.1 三种并行,分角色
| 并行 | 切什么 | 通信 | 适用 |
|---|---|---|---|
| DP 数据并行 | 复制模型、切数据 | 每步 all-reduce 梯度 | 中小模型微调(7B)→ 首选,效率高 |
| TP 张量并行 | 单层权重按列/行切多卡 | 每次 matmul 后都要 all-reduce → 通信极频 | 只适合节点内 NVLink 高带宽 |
| PP 流水线并行 | 按层区间分卡 | 只在层边界传激活 | 省通信但有流水气泡,需 micro-batch 填 |
选型结论(面试点):
7B 微调 → DP + ZeRO(通信开销低、简单高效);超大模型预训练 → TP+PP+ZeRO-3(3D 并行,最大化多机资源)。别不分模型大小一律上大并行。
2.2 NCCL 报错怎么排查
NCCL 是分布式集合通信库(all-reduce 等)。跨节点跑 TCP/IP 时最易翻车:
- 常见错误:
timeout waiting for rank N(某卡掉线)、network not found。 - 根因:节点间 IB(InfiniBand)驱动缺失/未绑定、网络抖动、节点数过多时 ring 拓扑低效。
- 排查清单:
NCCL_IB_DISABLE=1若没 IB 就禁掉,别让它反复尝试;- 确认
ibstat/驱动、nvidia-smi topo -m看拓扑; - 大集群用环树(tree)减少通信量;
- 盯带宽与 GPU 利用率,抖动前提前发现;
- 配好 超时与重连,单点抖动不拖垮全任务。
2.3 Checkpoint 断点续训(事故3 的解)
- 存什么:模型权重 + 优化器状态 + 当前 step/epoch + RNG 状态(保证可复现)。
- 多久存:每 N 步异步落一份到可靠存储(盘/对象存储)。
- 价值:节点抖动/中断后加载最近 checkpoint 继续,不会 3 天白训。
- 顺手:可上传时加显存/步数的位标记,避免写到一半的坏 checkpoint。
三、超参:Loss 震荡到底是 LR 还是数据
3.1 学习率(LR)——为什么太大会”全飞了”
- 反向更新
θ ← θ − η·(∂L/∂θ)。η 过大,单步越界到损失曲面另一侧 → 震荡 → 梯度爆炸 → NaN。 - 判读速查:
- Loss 剧烈震荡/下降又反弹/NaN → LR 太大;
- Loss 下降极慢/卡平台 → LR 太小;
- 中间也可能的元凶:数据脏、batch 太小梯度噪声大、LR 调度缺 warmup。
- 推荐起点:LoRA 微调
1e-4 ~ 1e-3;全量微调常更低(如 5e-5)。
3.2 Warmup——为什么训练初期学习率要从 0 爬升
- 起始时梯度极大 + Adam 二阶矩 m/v 还没积累 → 用峰值 LR 一步就炸。
- Warmup 让 η 从 0 线性升到目标值(通常前 5%~10% step),先把 m/v 估准再放开,稳住开局。
3.3 LoRA 的 rank 和 alpha——不仅是拍脑袋
- 更新量
ΔW = B·A × (α/r)。有效学习率与 α/r 成正比:r↑ 则每方向权重就小,需要 α 跟着调大保持尺度。 rank过小 → 表达能力不足(欠拟合,学不到任务特定子空间);rank过大 → 可训练参数多 → 易过拟合。- 常用:rank 8~64、
alpha = rank × 2(或 alpha=rank 后改调 LR,两者本质是把它折算进学习率)。面试要能说出这是”通过 α/r 折算,避免 r 变学习率跟着变”。
3.4 效果差时,怎么定位是「数据 / 超参 / 模型」
按序排查,别乱猜:
- 先看数据:重复样本、错标、脏数据、分布偏移(见 §四)——几乎一半”训不好”是数据问题;
- 再看超参:Loss 曲线判读、lr/warmup/rank 是否离群;
- 最后看模型/适配:容量够不够、LoRA 是否约束太过、基座是否选对。
3.5 超参搜索
别靠运气:网格 / 随机 / Bayesian 搜索,配一套受控评测。工业界常用「先粗后精」。
四、数据:脏数据是怎么毁掉一次微调的
4.1 清洗三步法(每条对应一种损坏机制)
- 去重:完全/近似重复样本(hash、minhash、embedding 相似度)——重复会让该样本在损失里被过量加权,学歪;
- 去错误标注:标签噪声(如 A 标成 B)→ 用多模型投票 / Confident Learning(cleanlab) / 人工抽检修正;
- 去脏/低质:困惑度过滤、规则/长度/乱码过滤、语义无关。
4.2 划分防泄露
- 70/15/15 训练/验证/测试,测试集绝不能混进训练。
- 泄露症状:验证/测试 Loss 异常低而线上差 → 评估虚高。
- 时间序列业务要按时序切防未来信息泄露;跨集做去重防文本泄露。
4.3 灾难性遗忘——微调最大的”隐性翻车”
- 原理:微调把新任务梯度更新到全部(或大部分)权重上,旧任务学到的分布被新分布”覆盖”(plasticity vs stability 矛盾)。
- 怎么检测:微调前后跑一遍通用能力 benchmark 对比,别只盯新任务 Loss。
- 怎么缓解:
- LoRA:只允许低秩小更新,天然把对旧知识的扰动锁住——像”在固定主干上加薄层”;
- EWC(弹性权重巩固):用 Fisher 信息 F 标记”旧任务敏感”权重,微调时加惩罚项
λ·Σ Fᵢ(θᵢ−θᵢ*)²,让关键权重尽量不动; - 其他:新老数据混合回放(replay)、知识蒸馏锚定、多任务联合训练。
4.4 评估:为什么”只看 Loss”不够
- Loss 可被过拟合新任务拉低,不代表生成好。
- 多维度:Perplexity/交叉熵(生成质量)、流畅性/相关性、领域准确率、任务特定指标、人工抽检。
- Early stopping:验证集指标不再改善即停,防过拟合。
五、生产级防御体系(把上面做成可运营的)
- 全链路监控:GPU 利用率 / 显存 / 训练速度 / Loss 曲线 / 梯度范数——异常立即告警(梯度爆炸/消失信号)。
- 流程标准化 + 资源管理:
- 配置/数据/代码版本化(可复现);
- GPU 池化 + 按优先级调度 + 闲置回收 + 多租户隔离;
- 模型评估发布:自动对比基线(领域+通用能力)→ 人工抽检 → 灰度发布 + 回滚。
面试速答卡(每题 30 秒)
| 追问 | 一句话答案 |
|---|---|
| 7B batch=32 为何 OOM | 激活值也要显存;权重28G + 梯度 + 优化器 + 激活全在卡里 |
| 梯度检查点/累积/batch 怎么平衡 | 三者是不同轴:检查点减激活内存、累积放大逻辑batch不占显存、batch由显存和收敛共同定 |
| 分布式用什么策略 | 7B→DP+ZeRO;巨模→TP+PP+ZeRO-3 |
| NCCL 报错 | 查IB/TCP、禁NCCL_IB_DISABLE、看拓扑、配超时重连 |
| 中断恢复 | checkpoint 存 权重+优化器+RNG+step,每N步异步落盘 |
| LR 太大/太小 | 震荡NaN=太大;收效慢=太小;先查数据再查超参 |
| LoRA rank/alpha | α/r 折算有效学习率;r小欠拟合 r大过拟合;α=2r |
| 灾难性遗忘 | 全量更新覆盖旧知识;LoRA/EWC/回放/蒸馏缓解,前后跑通用benchmark |
| 评估除了 Loss | PPL/流畅性/领域准确率/任务指标/人工抽检 + Early stopping |
关键术语速查
| 术语 | 说明 |
|---|---|
| LoRA | Low-Rank Adaptation,只训低秩 A/B 矩阵,冻结原权重 |
| Gradient Checkpointing | 只存间隔检查点、反向重算激活,O(L)→O(√L),+30~40% FLOPs |
| ZeRO / FSDP | 数据并行里分片 优化器状态/梯度/权重,显存随卡数降 |
| DP / TP / PP | 数据并行 / 张量并行(层内切) / 流水线并行(层间切) |
| NCCL | NVIDIA 集合通信库;跨节点常用 TCP/IB,抖动易超时 |
| BF16 / FP16 | BF16 指数8位不溢出;FP16 指数5位需 Loss Scaling |
| Warmup | 学习率从 0 爬到目标值,稳定开局(5~10% step) |
| EWC | 用 Fisher 信息惩罚”旧任务敏感”权重的更新 |
| 灾难性遗忘 | 微调覆盖旧通用能力;用 LoRA/EWC/回放缓解 |
| Early Stopping | 验证集不再改善即提前终止 |
相关笔记
- 大模型训练推理框架对比 — DP/TP/PP 与 DeepSpeed/ZeRO 框架选型对照
- 大模型微调与灾难性遗忘——LoRA解析 — LoRA rank/alpha 原理与灾难性遗忘机制
- RLHF训练性能波动深度解析 — 训练稳定性 / 性能波动排查