大模型微调 OOM — 深度解析笔记

这篇把”能跑通 LoRA 脚本但一问细节就卡壳”的题,按 为什么 → 怎么做 → 面试怎么答 拆透。
前提:你已懂 Transformer 结构、BN/Adam 等基础。本文专注量产细节与根因机制,配数字和公式。


一句话

训练/微调的分水岭不在会不会跑脚本,而在四件事:算得清显存、训得快(分布式)、调得准(超参)、平得清(数据+评估)。 面试官用它筛掉”背答案”的候选人。


时间轴速览(面试骨架 → 对应下方原理章节)

时间事件 / 追问展开在
00:00事故1:7B + batch=32 第一步 OOM§一 显存
00:20事故2:batch=4+梯度累积 → 慢 → 多机 NCCL 报错§二 分布式
00:30事故3:节点抖动 → 无 checkpoint → 3 天白训§二.5 续训
00:40事故4:LR=1e-3 发散 + 脏数据§三 超参 / §四 数据
01:00追问①:梯度检查点/梯度累积/batch 怎么平衡§一 / §三
01:10追问②:显存算 batch、分布式策略、中断恢复§一 / §二
01:20追问③:效果差根因定位(数据/超参/模型)§三 / §四
01:30追问④:LoRA rank/alpha、灾难性遗忘、评估§三 / §四
02:20+四大死穴 → 四大方案 → 生产级防御§一~§四 -> §五

一、显存:为什么 7B 一张卡就爆炸

1.1 显存的四件套(先算清再设 batch)

训练一张卡上同时装着四样东西,不是只有模型权重:

组成全量微调(7B, FP32)说明
模型权重 W7e9 × 4B ≈ 28GB这是”7B 全精度 ≈ 28GB / A100 卡不下”的来源
梯度 ∂L/∂W≈ 28GB与权重同尺寸
优化器状态(Adam: m,v)2 × 28GB = 56GBAdam 每参数存一阶矩+二阶矩
激活值 activations动态,往往最大前向暂存供反向用,只有训练才有,推理没有

全量微调 7B 光是权重+梯度+优化器就约 112GB,再加激活值,A100(80G) 单卡根本放不下——这就是为什么微调必须上 LoRA 或 PEFT。

LoRA 把哪部分省掉了?
LoRA 冻结原权重,只训两个低秩矩阵 A(B×r)、B(r×A)(W’ = W₀ + BA·(α/r))。

  • 可训练参数从 7e9 骤降到每层的 2×r×d(r 常为 8~64,d≈4096 → 每层约 65K~524K),
  • 于是梯度、优化器状态只需为这些小矩阵存,不再为全量参数存 84GB。
  • 但激活值躲不掉:LoRA 照样做完整前向,所以 batch_size=32 第一步照样 OOM——事故1 的真相是”懂 LoRA 却不懂激活值也要占显存”。

1.2 五大手段的原理(面试爱问”为什么”)

  1. 梯度检查点(Gradient Checkpointing)——用「重算」换「存储」

    • 反向传播需要所有层的激活值;默认全存,内存随层数线增长。
    • 只存每隔 √L 层的检查点,反向时从最近检查点重算缺失的激活 → 激活内存从 O(L) 降到 O(√L)。
    • 代价:多一次前向,FLOPs 约 +30~40%(不是 2×)。它是显存优化里”以算换存”的杠杆。
  2. BF16 混合精度——为什么选 BF16 不选 FP16

    • FP16:指数 5 位 → 最大值仅 ~65504,训练时梯度跨多数量级,极易下溢到 0 → 必须 Loss Scaling 配合,麻烦且不稳。
    • BF16:指数 8 位(和 FP32 相同范围),只牺牲 7 位尾数 → 不会下溢,基本不用 Loss Scaling,是大模型训练首选。
    • 做法:master weights 保持 FP32,前向/反向用 BF16 算,每步梯度更新回写。→ 权重/梯度显存约减半。
    • 配合公式:显存 − 单样本占用 = 最大批次;先固定权重/梯度/优化器(量化/精度/分片决定),算出剩余给激活值,再推 batch。
  3. 梯度累积——把「逻辑 batch」和「单步显存」解耦

    • 梯度累积让 N 次微步的梯度累加后再更新一次权重 → 逻辑 batch = 单卡微步 batch × 累积步数 × 卡数。
    • 它不占额外显存(累加器就一个梯度副本),只是优化上模拟了大 batch 的稳定性。
    • 陷阱(事故2 的由来):batch=4 + 梯度累积只解决了显存,没解决每卡 batch 太小导致的效率下降与训练慢,于是逼你去上分布式。
  4. ZeRO 分片——分布式共享,逐阶段砍冗余

    • 数据并行里每张卡都存一份完整权重/梯度/优化器,冗余。
    • ZeRO-1:只分片优化器状态;ZeRO-2:+分片梯度;ZeRO-3:+分片权重(用时 all-gather)。显存随卡数 N 线性降。
    • 与 FSDP(torch.distributed)等价。

1.3 显存监控

实时盯 GPU 利用率 / 显存 / 训练速度 / 梯度范数,异常告警——梯度范数爆炸/消失是最早的失控信号(见 §三)。


二、分布式:慢 → 多卡 → NCCL 天花板

2.1 三种并行,分角色

并行切什么通信适用
DP 数据并行复制模型、切数据每步 all-reduce 梯度中小模型微调(7B)→ 首选,效率高
TP 张量并行单层权重按列/行切多卡每次 matmul 后都要 all-reduce → 通信极频只适合节点内 NVLink 高带宽
PP 流水线并行按层区间分卡只在层边界传激活省通信但有流水气泡,需 micro-batch 填

选型结论(面试点):7B 微调 → DP + ZeRO(通信开销低、简单高效);超大模型预训练 → TP+PP+ZeRO-3(3D 并行,最大化多机资源)。别不分模型大小一律上大并行。

2.2 NCCL 报错怎么排查

NCCL 是分布式集合通信库(all-reduce 等)。跨节点跑 TCP/IP 时最易翻车:

  • 常见错误:timeout waiting for rank N(某卡掉线)、network not found。
  • 根因:节点间 IB(InfiniBand)驱动缺失/未绑定、网络抖动、节点数过多时 ring 拓扑低效。
  • 排查清单:
    1. NCCL_IB_DISABLE=1 若没 IB 就禁掉,别让它反复尝试;
    2. 确认 ibstat/驱动、nvidia-smi topo -m 看拓扑;
    3. 大集群用环树(tree)减少通信量;
    4. 盯带宽与 GPU 利用率,抖动前提前发现;
    5. 配好 超时与重连,单点抖动不拖垮全任务。

2.3 Checkpoint 断点续训(事故3 的解)

  • 存什么:模型权重 + 优化器状态 + 当前 step/epoch + RNG 状态(保证可复现)。
  • 多久存:每 N 步异步落一份到可靠存储(盘/对象存储)。
  • 价值:节点抖动/中断后加载最近 checkpoint 继续,不会 3 天白训。
  • 顺手:可上传时加显存/步数的位标记,避免写到一半的坏 checkpoint。

三、超参:Loss 震荡到底是 LR 还是数据

3.1 学习率(LR)——为什么太大会”全飞了”

  • 反向更新 θ ← θ − η·(∂L/∂θ)。η 过大,单步越界到损失曲面另一侧 → 震荡 → 梯度爆炸 → NaN。
  • 判读速查:
    • Loss 剧烈震荡/下降又反弹/NaN → LR 太大;
    • Loss 下降极慢/卡平台 → LR 太小;
    • 中间也可能的元凶:数据脏、batch 太小梯度噪声大、LR 调度缺 warmup。
  • 推荐起点:LoRA 微调 1e-4 ~ 1e-3;全量微调常更低(如 5e-5)。

3.2 Warmup——为什么训练初期学习率要从 0 爬升

  • 起始时梯度极大 + Adam 二阶矩 m/v 还没积累 → 用峰值 LR 一步就炸。
  • Warmup 让 η 从 0 线性升到目标值(通常前 5%~10% step),先把 m/v 估准再放开,稳住开局。

3.3 LoRA 的 rank 和 alpha——不仅是拍脑袋

  • 更新量 ΔW = B·A × (α/r)。有效学习率与 α/r 成正比:r↑ 则每方向权重就小,需要 α 跟着调大保持尺度。
  • rank 过小 → 表达能力不足(欠拟合,学不到任务特定子空间);rank 过大 → 可训练参数多 → 易过拟合。
  • 常用:rank 8~64、alpha = rank × 2(或 alpha=rank 后改调 LR,两者本质是把它折算进学习率)。面试要能说出这是”通过 α/r 折算,避免 r 变学习率跟着变”。

3.4 效果差时,怎么定位是「数据 / 超参 / 模型」

按序排查,别乱猜:

  1. 先看数据:重复样本、错标、脏数据、分布偏移(见 §四)——几乎一半”训不好”是数据问题;
  2. 再看超参:Loss 曲线判读、lr/warmup/rank 是否离群;
  3. 最后看模型/适配:容量够不够、LoRA 是否约束太过、基座是否选对。

3.5 超参搜索

别靠运气:网格 / 随机 / Bayesian 搜索,配一套受控评测。工业界常用「先粗后精」。


四、数据:脏数据是怎么毁掉一次微调的

4.1 清洗三步法(每条对应一种损坏机制)

  1. 去重:完全/近似重复样本(hash、minhash、embedding 相似度)——重复会让该样本在损失里被过量加权,学歪;
  2. 去错误标注:标签噪声(如 A 标成 B)→ 用多模型投票 / Confident Learning(cleanlab) / 人工抽检修正;
  3. 去脏/低质:困惑度过滤、规则/长度/乱码过滤、语义无关。

4.2 划分防泄露

  • 70/15/15 训练/验证/测试,测试集绝不能混进训练。
  • 泄露症状:验证/测试 Loss 异常低而线上差 → 评估虚高。
  • 时间序列业务要按时序切防未来信息泄露;跨集做去重防文本泄露。

4.3 灾难性遗忘——微调最大的”隐性翻车”

  • 原理:微调把新任务梯度更新到全部(或大部分)权重上,旧任务学到的分布被新分布”覆盖”(plasticity vs stability 矛盾)。
  • 怎么检测:微调前后跑一遍通用能力 benchmark 对比,别只盯新任务 Loss。
  • 怎么缓解:
    • LoRA:只允许低秩小更新,天然把对旧知识的扰动锁住——像”在固定主干上加薄层”;
    • EWC(弹性权重巩固):用 Fisher 信息 F 标记”旧任务敏感”权重,微调时加惩罚项 λ·Σ Fᵢ(θᵢ−θᵢ*)²,让关键权重尽量不动;
    • 其他:新老数据混合回放(replay)、知识蒸馏锚定、多任务联合训练。

4.4 评估:为什么”只看 Loss”不够

  • Loss 可被过拟合新任务拉低,不代表生成好。
  • 多维度:Perplexity/交叉熵(生成质量)、流畅性/相关性、领域准确率、任务特定指标、人工抽检。
  • Early stopping:验证集指标不再改善即停,防过拟合。

五、生产级防御体系(把上面做成可运营的)

  1. 全链路监控:GPU 利用率 / 显存 / 训练速度 / Loss 曲线 / 梯度范数——异常立即告警(梯度爆炸/消失信号)。
  2. 流程标准化 + 资源管理:
    • 配置/数据/代码版本化(可复现);
    • GPU 池化 + 按优先级调度 + 闲置回收 + 多租户隔离;
  3. 模型评估发布:自动对比基线(领域+通用能力)→ 人工抽检 → 灰度发布 + 回滚。

面试速答卡(每题 30 秒)

追问一句话答案
7B batch=32 为何 OOM激活值也要显存;权重28G + 梯度 + 优化器 + 激活全在卡里
梯度检查点/累积/batch 怎么平衡三者是不同轴:检查点减激活内存、累积放大逻辑batch不占显存、batch由显存和收敛共同定
分布式用什么策略7B→DP+ZeRO;巨模→TP+PP+ZeRO-3
NCCL 报错查IB/TCP、禁NCCL_IB_DISABLE、看拓扑、配超时重连
中断恢复checkpoint 存 权重+优化器+RNG+step,每N步异步落盘
LR 太大/太小震荡NaN=太大;收效慢=太小;先查数据再查超参
LoRA rank/alphaα/r 折算有效学习率;r小欠拟合 r大过拟合;α=2r
灾难性遗忘全量更新覆盖旧知识;LoRA/EWC/回放/蒸馏缓解,前后跑通用benchmark
评估除了 LossPPL/流畅性/领域准确率/任务指标/人工抽检 + Early stopping

关键术语速查

术语说明
LoRALow-Rank Adaptation,只训低秩 A/B 矩阵,冻结原权重
Gradient Checkpointing只存间隔检查点、反向重算激活,O(L)→O(√L),+30~40% FLOPs
ZeRO / FSDP数据并行里分片 优化器状态/梯度/权重,显存随卡数降
DP / TP / PP数据并行 / 张量并行(层内切) / 流水线并行(层间切)
NCCLNVIDIA 集合通信库;跨节点常用 TCP/IB,抖动易超时
BF16 / FP16BF16 指数8位不溢出;FP16 指数5位需 Loss Scaling
Warmup学习率从 0 爬到目标值,稳定开局(5~10% step)
EWC用 Fisher 信息惩罚”旧任务敏感”权重的更新
灾难性遗忘微调覆盖旧通用能力;用 LoRA/EWC/回放缓解
Early Stopping验证集不再改善即提前终止

相关笔记