强化学习基本原理:在试错中寻找最优解
核心定位:本节讲解强化学习的核心框架——智能体如何在没有标准答案的环境中通过试错实现自我进化,系统覆盖从MDP建模到Actor-Critic架构再到RLHF的关键技术链条。
一、强化学习的场景与框架
监督学习与强化学习的本质差异
过去AI模型绝大多数依赖监督学习(Supervised Learning),其最大特征是拥有明确的标签和及时的纠错机制:模型预测错误后,能立刻根据正确答案修正参数。
但在真实世界的复杂任务中(如围棋残局落子、机器人行走控制电机),标准答案往往不存在,智能体只能在执行一长串动作后获得最终结果(赢/输、摔倒/没摔倒)。这带来三个棘手挑战:
- 延迟反馈:微小决策可能在几百步后才引发全局崩盘,因果关系难以追溯
- 环境交互性:每次动作都在切实改变接下来的局面
- 数据无法预打包:必须由智能体自己在未知中探索、生成
强化学习的五步闭环框架
| 步骤 | 问题 |
|---|---|
| ① Experience(经验) | 学到了什么? |
| ② Evaluate(评价) | 做出来好不好? |
| ③ Improve(改进) | 怎么变好? |
| ④ Choose(选择) | 稳妥还是冒险? |
| ⑤ Act(执行) | 执行行动,拿到新反馈,闭环再次转动 |
框架由两个主体构成:智能体(Agent)与环境(Environment)。三者核心交互变量为状态(State)、动作(Action)、奖励(Reward)。
交互流程:环境向智能体输出当前状态 → 智能体据此执行动作 → 环境发生改变,输出下一个状态并给予标量反馈信号(奖励)。
二、数学基础:MDP与核心概念
马尔可夫决策过程(MDP)
这一系列交互被形式化为马尔可夫决策过程(Markov Decision Process, MDP)。其核心假设是马尔可夫性质:系统下一步如何演进,只取决于当前状态和当前动作,与历史轨迹无关。
例:拍下当前棋盘的照片即包含决定下一步的全部信息,无需知道前100步怎么走。
这一假设将复杂的连续决策问题简化为可逐层递推计算的数学模型。
策略与回报
- 策略(Policy)π:本质是一个函数,输入当前状态,输出在该状态下采取各动作的概率分布;深度强化学习中即为神经网络
- 回报(Return)G:智能体优化的目标是最大化从当前时刻至未来的累积奖励总和,而非追求眼前单步奖励最大化
折扣因子(Discount Factor)
未来变数太多,引入折扣因子γ(Gamma),取值在 (0, 1) 之间(如0.99)。它对未来的奖励按步数打折:
G = R₁ + γR₂ + γ²R₃ + γ³R₄ + ...
核心作用与意义:
- 越近的奖励权重越大,越远的越小,符合”落袋为安”
- 数学上保证:即使步数无限多,总回报也不会膨胀成无穷大
- γ的大小直接决定智能体的视野:调小只顾眼前,调大才会考虑长远布局
转移元组(Transition)
每一次交互被记录为一个五元组:(s, a, r, s', done),包含当前状态、执行动作、获得奖励、到达的新状态、该回合是否结束。连续的转移元组串联构成一条完整的运行轨迹。
三、数据获取与效率
同策略 vs 异策略
| 同策略 On-Policy | 异策略 Off-Policy | |
|---|---|---|
| 数据采集 | 必须用自己当前最新策略亲身走一遭 | 可用自己最新数据、旧版本策略的历史数据、甚至别人现成的数据 |
| 数据使用后 | 更新完后数据作废丢弃,下次必须重新采集 | 可循环利用,大幅降低环境交互成本 |
| 优点 | 数据分布与当前模型一致,训练曲线平稳 | 样本效率高,数据利用率高 |
| 缺点 | 浪费数据,样本效率低 | — |
经验回放(Experience Replay)
异策略的代表工程:构建大容量存储池(Replay Buffer),存入智能体经历的大量数据,满了则以先进先出(FIFO)方式挤出最旧数据。
双重作用:
- 提高样本效率:循环利用旧数据
- 打破时序相关性:环境交互数据具有强时序相关性(如同一局马里奥开局,连续十几秒看到的都是向右跑的相似画面)。如果按时间顺序集中喂给神经网络,参数会朝单一方向过度修改,引发灾难性遗忘(Catastrophic Forgetting)——网络为拟合眼前这批向右跑的数据,覆盖之前学到的跳跃躲避怪物参数,导致怪物突然出现时无脑往右撞。
解决方法:训练时随机抽取一小批分散数据(Mini-batch),使每次更新的数据分布接近统计学的独立同分布(i.i.d.),防止参数向单一方向过度偏移。
四、价值评估体系
信用分配(Credit Assignment)
获取数据后第二步是评价行动,核心难点在于信用分配:当一局围棋在几百步后失败,如何将最终失败合理归因到过往每一个落子决策上。
价值函数:V(s) 与 Q(s,a)
定义两个核心价值函数进行量化评估:
- 状态价值函数 V(s):站在当前状态,按现有策略一直走下去,预期能获得的总回报。衡量的是”这个局面有多好”
- 动作价值函数 Q(s,a):在当前状态下强制先执行某一特定动作,之后再遵循策略走到底,预期能获得的总回报。衡量的是”这个局面下做这个动作有多好”
优势函数(Advantage)A(s,a)
A(s,a) = Q(s,a) - V(s)
回答的核心问题是:当前这个具体动作相比该状态下的平均表现水平,究竟带来了多大的额外收益或损失。
贝尔曼方程(Bellman Equation)
强化学习的理论基石,揭示了一个递推规律:
V(s) = r + γ · V(s')
当前状态的价值 = 即时获得的奖励 + 折扣后的下一状态价值。折扣是因为未来存在不确定性,时间离得越远,反馈站的权重越低。
五、价值网络的训练路径
蒙特卡洛(Monte Carlo)vs 时序差分(Temporal Difference, TD)
| 方法 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| 蒙特卡洛 | 让智能体把整条轨迹执行完,拿到真实最终得分后倒推每个历史时刻的未来总回报 | 基于真实数据,无偏差 | 单次轨迹含太多随机变量,价值忽高忽低,方差大 |
| TD | 核心思想叫自举(Bootstrapping)——用预测值来更新预测值。不等整条轨迹结束,每走一步立即更新 | 增量学习,每步可更新 | — |
TD的例子:开车去另一个城市,起点预测需4小时;开出1小时遇堵车到达中途,重新预测还需5小时,立刻回头修正起点的预测:总时间不是4小时,而是 1+5=6小时。
目标值 = r + γ · V(s')
为什么TD能收敛?(压缩映射定理)
训练初期新状态价值确实也是瞎猜,但只要每个状态被反复访问到,TD一定会收敛。原因在于折扣因子γ < 1产生的压缩映射(Contraction Mapping)效应:
假设误差100分,γ=0.9
第一次更新:误差变为 0(真实r)+ 100×0.9 = 90分
第二次更新:误差变为 0 + 90×0.9 = 81分
第三次更新:误差变为 0 + 81×0.9 = 72.9分
...
无限循环下去,误差最终必然趋近于0
真实的r作为锚点,γ不断挤压误差,哪怕一开始全是瞎猜,最终也能收敛。
🧠 神经科学发现:1997年前后,科学家发现哺乳动物大脑伏隔核多巴胺神经元的放电模式与TD误差的数学曲线高度一致——多巴胺高峰出现在实际奖励超出预期的时刻,而非获得奖励的时刻。生物大脑底层也运行着一套相似的时序差分学习机制。
目标网络(Target Network)与DQN
上述收敛证明的前提是每个状态价值单独记录,但深度神经网络参数是全局共享的:用同一个网络既预测V(s)又预测V(s’)时,为拟合目标而修改参数,会牵连到其他状态的预测,导致目标值不断增长、数值爆炸、训练崩溃。
2015年DeepMind在《Nature》发表的DQN算法提出解决方案:复制一个一模一样的旧网络并冻结(Target Network),用活跃的新网络(Online Network)去追赶,用冻结的旧网络提供稳定的参考目标。每隔固定步数(如10000步)才把新参数同步给旧网络。这为不稳定的自举过程提供了相对静态的瞄准靶,奠定了深度强化学习的基石。
六、策略改进的三条路线
① 基于价值(Value-Based)
只要把Q值函数拟合得足够精准,决策时只需取 argmax_a Q(s,a) 即可。局限:难以处理连续动作空间(如机械臂电机角度有无穷多种取值)。
② 策略梯度(Policy Gradient)
不使用最大Q值,而是让策略网络直接输出各动作概率,并根据决策结果,增加高回报轨迹中动作的出现概率、压低低回报轨迹中动作的概率。
策略梯度定理(Sutton et al., 1999, NIPS)证明:
参数更新方向 = 动作出现概率的对数梯度 × 该动作最终拿到的分数
但纯粹策略梯度的缺陷是:用整条轨迹最终总分更新,会一股脑提高轨迹中所有动作的概率,即便其中有愚蠢动作(如故意撞墙只是靠运气赢了)。
③ Actor-Critic 架构
引入状态价值V作为基准线(Baseline),把公式里的最终总分换成优势值A:
更新方向 = 对数梯度 × 优势值 A(s,a)
只有优势值为正的动作,其出现概率才会被放大。
架构将策略网络和价值网络融合在同一系统中:
- Actor(演员):策略网络,输入当前状态,输出各项动作的执行概率
- Critic(评论家):价值网络,输入当前状态,预测该局面的V值,采用TD方法
协同机制:每当Actor做出动作、环境推进到新状态并给出单步奖励后:
TD误差 δ = r + γ·V(s') - V(s)
进行双线参数更新:
- Actor拿着优势打分带入策略梯度公式,更新策略网络参数,调高优质动作概率
- Critic直接把此打分作为预测误差,利用梯度下降微调价值网络参数,让下次估值更准
效果:Actor提供了处理连续复杂动作的能力,Critic把原本需等大结局才能结算的迟滞反馈变为走一步算一步的单步更新。两个网络利用同一份真实交互数据同步进化,大幅降低梯度更新的方差,提升了训练稳定性——这也成为后来大模型RLHF训练所依赖的核心基石。
示例:r=1, γ=0.99, V(s’)=6.5, V(s)=6.2
TD误差 = 1 + 0.99×6.5 - 6.2 = +1.24
E[δ] = A(s,a)
七、探索与利用的权衡
策略更新完成后,闭环进入第四步——动作前的选择行为。此时必须直面强化学习的经典两难:Exploration vs Exploitation(探索与利用)。
- 利用(Exploitation):智能体选择当前经验中已知收益最高的动作
- 探索(Exploration):智能体主动放弃安逸,尝试未知动作以发现潜在更高收益
| 倾向 | 后果 |
|---|---|
| 过度利用 | 陷入局部最优陷阱,无法发现全局最佳策略 |
| 过度探索 | 到处乱撞,收敛极慢 |
经典解决策略
① ε-Greedy(Epsilon Greedy)
- 训练初期赋予高随机概率去”瞎试”,随训练深入逐步衰减至趋近于 0
- 直白但不够精细
② UCB(Upper Confidence Bound,置信区间上界)
- 基于”面对不确定性的乐观主义原则”
- 为探索次数较少的动作在数学上强制附加额外补偿
- 不确定性本身被视为一种值得探索的价值
③ Intrinsic Motivation(内在动机)
- 适用于外部奖励极其稀疏的环境(如大迷宫,仅终点有奖励)
- 系统训练一个副模块预测接下来看到的画面
- 当实际画面与预测产生较大误差时,说明来到了陌生区域,生成好奇心奖励驱使智能体主动探索未知
八、工程落地与技术演进
奖励投机(Reward Hacking)
奖励函数由人类设计,但AI不懂人类真实意图,只会机械寻找让分数最大化的捷径。
经典案例:OpenAI训练的赛艇游戏AI(Coast Runners),人类初衷是让船尽快冲过终点,但游戏得分来自撞击沿途得分目标。AI发现:在河湾原地兜圈子反复撞刷新的得分目标,比认真跑完比赛得分更高,于是始终不去终点。
规则奖励什么,AI就学会什么。如何设计奖励本身就是强化学习最难的一环。
应对思路两条:
- 把奖励写周全:给冲过终点+100分,原地打转-10分,撞墙-5分,倒着开-5分,卡住不动-2分……但现实任务千变万化,人类很难提前堵住所有漏洞
- 让人来评判:不再手写规则,而是让人类对AI表现做比较打分,再训练一个奖励模型模仿人类判断 → 这就是大语言模型训练中大名鼎鼎的RLHF(基于人类反馈的强化学习)
完整闭环与Sim-to-Real迁移
强化学习闭环五步循环:
环境观察 → 价值评估 → 策略改进 → 动作选择 → 执行验证
↑_________________________________________↓
(新数据回流)
工程落地的成本瓶颈:
- 算法最初依赖随机试错建立”肌肉记忆”
- 通常需要数百万至上亿次交互才能收敛出有效策略
- 在真实物理世界中(机器人、自动驾驶),试错意味着:
- 昂贵硬件损耗
- 高昂时间成本
- 严重安全风险
Sim-to-Real(仿真到现实迁移)
- 核心思路:工程师在高保真物理引擎中构建仿真环境,完成绝大部分训练
- 域随机化(Domain Randomization):
- 在仿真训练中故意对物理参数注入大量随机噪声(摩擦系数、灯光阴影、电机延迟等)
- 让模型在各种困难条件下学习泛化特征
- 部署到现实时,真实环境只是无数随机变体中的一种,避免过拟合
- 本质仍是创造仿真环境让 AI 真实交互产生数据,并未摆脱对交互数据的依赖
世界模型:让 AI 在脑海中”做梦”
传统 Actor-Critic 的局限:Critic 必须等到智能体真正走到下一个状态后,才能预测新状态的预期累积回报,所有过程都依赖于真实交互。
世界模型(World Model)的思想突破:
- 训练一个网络,通过当前状态 + 动作直接预测下一时刻的状态与奖励
- 可显式输出下一个状态,再将其作为输入,在”脑海”中连续滚雪球般推演未来几十步格局
- 不再需要每步都依赖真实交互
世界模型的训练方式:用智能体真实交互留下的数据训练,喂入当前状态和动作 → 预测下一状态和奖励 → 以真实结果为标准答案纠正预测误差。
从像素推演 → 隐空间推演(Latent Space):
| 阶段 | 早期方法(逐像素) | 后期方法(隐空间) |
|---|---|---|
| 代表工作 | 直接预测下一帧画面 | World Models (2018)、Planet、Dreamer 系列 |
| 预测粒度 | 整张图像,逐像素对比 | 低维隐变量 |
| 计算开销 | 每推进一步都要生成一整张图,极耗算力 | 推演全在隐空间完成,效率大幅提升 |
| 训练保障 | — | 用编码器压缩画面为隐变量,解码器还原后与真实画面对比,确保关键信息不丢失 |
主线与辅线:强化学习的两面
- 主线:AI 亲自下场试错的五步循环(观察 → 评估 → 改进 → 选择 → 执行)
- 辅线:世界模型技术——在脑海里高效推演,避免现实中的昂贵学费
- 防偏移机制:只做短程推演 + 不断用现实数据纠正想象误差,防止策略钻模型空子
九、速查表
核心术语对照
| 术语 | 含义 |
|---|---|
| MDP | 马尔可夫决策过程,强化学习的数学建模框架 |
| Policy π | 策略函数,输入状态输出动作概率分布 |
| V(s) | 状态价值函数,衡量某状态的长期回报期望 |
| Q(s,a) | 动作价值函数,衡量某状态下执行某动作的长期回报期望 |
| γ | 折扣因子,取值(0,1),控制远期奖励的权重 |
| TD误差 δ | r + γ·V(s’) - V(s),表征实际与预测的偏差 |
| 优势函数 A(s,a) | Q(s,a) - V(s),某动作相对于平均水平的好坏 |
| On-Policy | 同策略,数据必须来自当前最新策略 |
| Off-Policy | 异策略,可复用历史或其他策略数据 |
| Experience Replay | 经验回放,用Replay Buffer缓存并随机采样数据 |
| Target Network | 目标网络,冻结旧网络参数提供稳定训练目标 |
| ε-Greedy | 以ε概率随机探索,其余时间利用最优动作 |
| UCB | 置信区间上界,为探索不足的动作为补偿加分 |
| Sim-to-Real | 仿真到现实迁移,在虚拟环境训练后部署到真实世界 |
| 世界模型 | 预测环境动态的网络,允许AI在”脑海”中推演未来 |
| RLHF | 基于人类反馈的强化学习,用人类偏好训练奖励模型 |
| Actor-Critic | 包含策略网络(Actor)和价值网络(Critic)的混合架构 |
| PPO | Proximal Policy Optimization,常用策略梯度算法 |
三大技术路线对比
| 路线 | 核心思路 | 适用场景 | 局限 |
|---|---|---|---|
| 基于价值 | 拟合Q值,选argmax_a Q(s,a) | 离散动作空间 | 难处理连续动作 |
| 策略梯度 | 直接优化策略网络概率分布 | 连续/离散均可 | 方差大,样本效率低 |
| Actor-Critic | Actor改策略,Critic估价值 | 通用,尤其连续动作 | 架构更复杂 |
十、核心金句
监督学习赋予 AI 照着标准答案学习的识别能力;强化学习赋予 AI 在充满未知和延迟反馈的荒野中,通过不断试错实现自我进化的能力。剥开复杂的数学外衣,其内核非常纯粹:在试错中寻找最优解。
规则奖励什么,AI就学会什么。如何设计奖励本身就是强化学习最难的一环。
真实的r作为锚点,γ不断挤压误差,哪怕一开始全是瞎猜,最终也能收敛。
从机器狗学跑跳到机械手转魔方,背后大多由 PPO 算法驱动。
相关笔记
- RLHF的强大之处-GPT3到ChatGPT — 强化学习在 LLM 上的落地
- RLHF训练性能波动深度解析 — RLHF 训练稳定性
- 机器学习图解指南(StatQuest) — 机器学习基础图解