RLHF 训练性能波动深度解析
核心问题:为什么 SFT 之后接入 RLHF,模型性能会先下跌、再回升?
一、背景:SFT → RLHF 训练流水线
预训练模型
↓
SFT(监督微调) ← 学习"标准答案",建立基础能力
↓
RL 强化学习(RLHF) ← 对齐人类偏好,性能先跌后升
↓
最终对齐模型 ← 超越纯 SFT 模型
| 阶段 | 目标 | 数据来源 | 优化信号 |
|---|---|---|---|
| SFT | 学习合规、流畅的标准回答 | 人工标注示范数据 | 交叉熵损失 |
| RLHF | 对齐人类真实偏好 | 人类比较反馈 → 奖励模型 | 奖励分数 (PPO) |
二、性能下跌的三大根因
原因 1:奖励函数冲突,破坏 SFT 基础
本质:两套优化目标不完全一致,模型在二者之间产生撕裂。
SFT 优化目标:生成标准、通顺、合规的回答
≠
奖励模型偏好:奖励模型打分标准 ≠ SFT 数据标准
- 奖励模型由人类偏好比较训练而来,其打分偏好不等同于SFT 阶段的示范数据标准
- 模型为追求高奖励分数,主动抛弃SFT 学到的稳妥表达方式
- 结果:生成逻辑崩坏、事实错误、表达怪异的回答
类比:学生原本按照教材标准答题(SFT),突然换了一个打分口味不同的评委(奖励模型),学生开始揣摩评委喜好而偏离原本的知识体系。
原因 2:策略更新幅度过大 → 灾难性遗忘
本质:RL 的大步长参数更新破坏了 SFT 建立的知识表示。
SFT 阶段习得
├── 通用知识
├── 基础语法
└── 事实常识
↓ RL 大幅更新参数
× 短暂遗忘上述能力
↓ 仅保留短期奖励优化路径
输出质量暴跌
关键机制:
- PPO 更新步长若控制不当,参数偏移过大
- 模型”只盯着当前奖励”,忽视基础语言能力维护
- 即:奖励优化 + 能力遗忘 双重叠加导致质量下跌
对应工程手段:KL 散度惩罚项(限制 RL 策略偏离 SFT 初始策略的距离),正是为解决此问题而设计。
原因 3:探索机制引入大量劣质输出
本质:强化学习的随机探索策略(Exploration)天然产生大量”试探性”低质文本。
RL 探索阶段
├── 生成偏离正常分布的文本(试探奖励边界)
├── 大量样本质量低于 SFT 基线
└── 拉低整体评测均值 → 主观感受"模型变笨"
- 探索是 RL 的必要机制,不可完全关闭
- 早期探索成本集中体现,是性能下跌的直接可见原因
三、性能回升的底层逻辑
经过充分的 PPO 迭代轮次,模型完成以下三个收敛过程:
阶段 1:摸清奖励边界,停止极端投机
初期:极端迎合奖励模型 → 牺牲基础能力
↓ 持续迭代
后期:学会"高奖励 + 保留基础能力"的平衡策略
模型逐步识别出:哪些奖励是”真实人类偏好”,哪些是对奖励模型的过度拟合(Reward Hacking)。
阶段 2:遗忘的基础能力逐步恢复
- 参数迭代趋于稳定,知识表示重新整合
- SFT 建立的语言能力在新参数空间中得到恢复和保留
- 同时叠加 RL 带来的人类偏好对齐增益
阶段 3:对齐收益超越前期损失
最终效果 = SFT 基础能力(恢复)+ 人类偏好对齐(新增)
> 纯 SFT 模型效果
四、完整性能曲线
性能
▲
│ ✦ RLHF 最终效果(超越 SFT)
│ ╱
│───────╱──── SFT 基线
│ ╱
│ ╲ ╱
│ ╲╱ ← 性能谷底(奖励冲突 + 灾难性遗忘 + 探索噪声)
│
└──────────────────────────────▶ 训练轮次
SFT结束 RL早期 RL中期 RL充分收敛
五、知识扩展:工程中的对应解法
| 问题 | 工程手段 | 作用 |
|---|---|---|
| 奖励函数冲突 | KL 散度惩罚 | 限制策略偏离 SFT 初始点 |
| 灾难性遗忘 | 小学习率 + 梯度裁剪 | 控制参数更新幅度 |
| 过度奖励黑客 | 奖励模型定期更新 / 多奖励模型集成 | 防止模型过拟合单一奖励 |
| 探索噪声 | 重要性采样 + clip 机制(PPO核心) | 稳定策略更新,减少低质探索 |
六、核心结论
RLHF 初期,模型为追逐奖励信号牺牲了 SFT 习得的基础能力,表现下滑;经过充分 PPO 迭代后,模型学会平衡基础能力与人类偏好,最终效果反超纯 SFT 模型。
这一现象本质上是两个优化目标从冲突 → 协调 → 协同的动态过程。
关键词:SFT · RLHF · PPO · 灾难性遗忘 · 奖励黑客 · KL散度惩罚