RLHF 训练性能波动深度解析

核心问题:为什么 SFT 之后接入 RLHF,模型性能会先下跌、再回升?


一、背景:SFT → RLHF 训练流水线

预训练模型
    ↓
SFT(监督微调)        ← 学习"标准答案",建立基础能力
    ↓
RL 强化学习(RLHF)    ← 对齐人类偏好,性能先跌后升
    ↓
最终对齐模型           ← 超越纯 SFT 模型
阶段目标数据来源优化信号
SFT学习合规、流畅的标准回答人工标注示范数据交叉熵损失
RLHF对齐人类真实偏好人类比较反馈 → 奖励模型奖励分数 (PPO)

二、性能下跌的三大根因

原因 1:奖励函数冲突,破坏 SFT 基础

本质:两套优化目标不完全一致,模型在二者之间产生撕裂。

SFT 优化目标:生成标准、通顺、合规的回答
      ≠
奖励模型偏好:奖励模型打分标准 ≠ SFT 数据标准
  • 奖励模型由人类偏好比较训练而来,其打分偏好不等同于SFT 阶段的示范数据标准
  • 模型为追求高奖励分数,主动抛弃SFT 学到的稳妥表达方式
  • 结果:生成逻辑崩坏、事实错误、表达怪异的回答

类比:学生原本按照教材标准答题(SFT),突然换了一个打分口味不同的评委(奖励模型),学生开始揣摩评委喜好而偏离原本的知识体系。


原因 2:策略更新幅度过大 → 灾难性遗忘

本质:RL 的大步长参数更新破坏了 SFT 建立的知识表示。

SFT 阶段习得
├── 通用知识
├── 基础语法
└── 事实常识
       ↓ RL 大幅更新参数
       × 短暂遗忘上述能力
       ↓ 仅保留短期奖励优化路径
   输出质量暴跌

关键机制:

  • PPO 更新步长若控制不当,参数偏移过大
  • 模型”只盯着当前奖励”,忽视基础语言能力维护
  • 即:奖励优化 + 能力遗忘 双重叠加导致质量下跌

对应工程手段:KL 散度惩罚项(限制 RL 策略偏离 SFT 初始策略的距离),正是为解决此问题而设计。


原因 3:探索机制引入大量劣质输出

本质:强化学习的随机探索策略(Exploration)天然产生大量”试探性”低质文本。

RL 探索阶段
├── 生成偏离正常分布的文本(试探奖励边界)
├── 大量样本质量低于 SFT 基线
└── 拉低整体评测均值 → 主观感受"模型变笨"
  • 探索是 RL 的必要机制,不可完全关闭
  • 早期探索成本集中体现,是性能下跌的直接可见原因

三、性能回升的底层逻辑

经过充分的 PPO 迭代轮次,模型完成以下三个收敛过程:

阶段 1:摸清奖励边界,停止极端投机

初期:极端迎合奖励模型 → 牺牲基础能力
  ↓ 持续迭代
后期:学会"高奖励 + 保留基础能力"的平衡策略

模型逐步识别出:哪些奖励是”真实人类偏好”,哪些是对奖励模型的过度拟合(Reward Hacking)。

阶段 2:遗忘的基础能力逐步恢复

  • 参数迭代趋于稳定,知识表示重新整合
  • SFT 建立的语言能力在新参数空间中得到恢复和保留
  • 同时叠加 RL 带来的人类偏好对齐增益

阶段 3:对齐收益超越前期损失

最终效果 = SFT 基础能力(恢复)+ 人类偏好对齐(新增)
         > 纯 SFT 模型效果

四、完整性能曲线

性能
  ▲
  │         ✦ RLHF 最终效果(超越 SFT)
  │        ╱
  │───────╱──── SFT 基线
  │      ╱
  │   ╲ ╱
  │    ╲╱  ← 性能谷底(奖励冲突 + 灾难性遗忘 + 探索噪声)
  │
  └──────────────────────────────▶ 训练轮次
       SFT结束  RL早期   RL中期  RL充分收敛

五、知识扩展:工程中的对应解法

问题工程手段作用
奖励函数冲突KL 散度惩罚限制策略偏离 SFT 初始点
灾难性遗忘小学习率 + 梯度裁剪控制参数更新幅度
过度奖励黑客奖励模型定期更新 / 多奖励模型集成防止模型过拟合单一奖励
探索噪声重要性采样 + clip 机制(PPO核心)稳定策略更新,减少低质探索

六、核心结论

RLHF 初期,模型为追逐奖励信号牺牲了 SFT 习得的基础能力,表现下滑;经过充分 PPO 迭代后,模型学会平衡基础能力与人类偏好,最终效果反超纯 SFT 模型。

这一现象本质上是两个优化目标从冲突 → 协调 → 协同的动态过程。


关键词:SFT · RLHF · PPO · 灾难性遗忘 · 奖励黑客 · KL散度惩罚