强化学习基础：MDP、目标函数与算法全景

0. 本讲导读

前三讲我们一直在做模仿学习（imitation learning）：给定人类专家演示 $\{(s_t^{(i)},a_t^{(i)})\}$，用最大似然把策略拟合出来，再用 DAgger 之类的手段修补分布漂移。整条路线的前提是——你手上有足够好的演示数据。可现实里这个前提经常不成立：没人能演示怎么控制一座电网，没人能演示怎么让四足机器人在冰面上跑，更没人能演示如何在围棋上超越人类。一旦没有演示，「模仿谁」这个问题就没有答案了。

本讲要做的事是换一个问题定义：不再要求「模仿某个人」，而是要求「让某个标量指标尽可能大」。这个指标就是奖励函数（reward function） $r(s,a)$。一旦有了它，学习的目标就从「像专家」变成了「拿高分」，而这正是强化学习（reinforcement learning, RL）的全部内容。

这一讲的结构可以概括成五个递进的问题：

• 问题长什么样？ 从马尔可夫链（Markov chain）出发，加上动作和奖励得到 MDP，再加上观测得到 POMDP。这三个定义会一直用到第 25 讲。
• 目标是什么？ $\theta^\star=\argmax_\theta \E_{\tau\sim p_\theta(\tau)}\left[\sum_t r(s_t,a_t)\right]$。这个式子有两种等价写法：有限步（finite horizon）用状态-动作边缘分布 $p_\theta(s_t,a_t)$，无限步（infinite horizon）用平稳分布 $\bar\mu$。后者要用到「平稳分布是转移算子特征值为 1 的特征向量」这个线性代数事实。
• 为什么是期望？ 因为奖励本身可以极度不光滑（掉下悬崖 $-1$，没掉 $+1$），但期望关于策略参数是光滑的。这是所有基于梯度的 RL 方法能成立的根本原因。
• 怎么处理这些嵌套期望？ 引入 $Q^\pi(s,a)$ 和 $V^\pi(s)$——它们把「从此刻起往后所有的期望」打包成一个数，于是策略改进变成了一件局部的、可操作的事。
• 有哪些做法？ 策略梯度、值函数方法、actor-critic、model-based，四大类算法都装在同一个「生成样本 → 拟合模型/估计回报 → 改进策略」的三步循环里，差别只在于第二、三步各自做什么。它们在采样效率、稳定性、适用假设上有截然不同的取舍。

1. 从模仿学习到强化学习：奖励函数登场

先把上一讲的终点接上。模仿学习的训练目标是一个纯粹的监督学习问题：

这里 $\pi_\theta(a_t|s_t)$ 是一个神经网络，输入状态 $s_t$（比如车载摄像头图像），输出动作 $a_t$（方向盘转角、油门）上的一个概率分布，$\theta$ 是网络权重；$N$ 条演示轨迹、每条 $H$ 步。这个目标里完全没有出现环境——它只是在拟合数据集里的条件分布。

没有演示数据时，我们需要另一种方式告诉智能体「什么算好」。最直接的办法是给出一个函数，对任意状态-动作对打分：

Levine 用开车做例子：车稳稳地在路上开是高奖励，撞到别的车是低奖励。看起来很简单，但立刻有一个关键的、贯穿整个 RL 的观察：

这句话是 RL 与监督学习最本质的分野。监督学习里每个样本的损失是独立的、当下就能算清的；RL 里当下这一步动作的「好坏」取决于它把你带到什么状态、以及在那个状态上你还能拿多少分。这种时序信用分配（temporal credit assignment）问题，正是后面所有值函数、Bellman 方程、TD 学习存在的理由。

2. 马尔可夫链、MDP 与 POMDP

2.1 最基础的模型：马尔可夫链

先把动作和奖励都扔掉，只看一个随机演化的动力系统。马尔可夫链定义为一个二元组

其中 $\mathcal{S}$ 是状态空间（state space），状态 $s\in\mathcal{S}$ 可以是离散的（比如 $\{1,2,\dots,n\}$）也可以是连续的（比如 $\R^d$）；$\mathcal{T}$ 是转移算子（transition operator），也就是条件概率 $p(s_{t+1}|s_t)$。

「马尔可夫性（Markov property）」这个词的精确含义是条件独立：

读作「给定当前状态 $s_t$，下一个状态 $s_{t+1}$ 与过去的状态 $s_{t-1}$ 条件独立」。直觉上就是：当前状态包含了预测未来所需的全部信息，历史是多余的。 这不是对世界的描述，而是对「状态」这个词的定义——如果某个量不满足这条性质，它就不配叫状态。

2.2 为什么叫「算子」

这是学生常问的一个问题：$p(s_{t+1}|s_t)$ 明明是个条件概率，为什么要叫「算子」？答案在于我们关心的其实不是单条轨迹，而是分布的演化。边缘化掉 $s_t$：

把 $p(s_t)$ 看成一个概率向量（状态数为 $n$ 时它是 $n$ 维的、非负的、和为 1 的向量），记作

那么上面那个求和恰好就是矩阵乘向量：

所以 $\mathcal{T}$ 是一个作用在「分布空间」上的线性算子。这个线性性质极其重要：虽然每条轨迹的演化是随机的、非线性的，但分布的演化永远是线性的。它意味着 $\mu_t=\mathcal{T}^{t-1}\mu_1$，也意味着我们可以用特征值/特征向量这套工具来分析长期行为。

2.3 加上动作：马尔可夫决策过程

马尔可夫链里没有「选择」，系统自己演化，我们只能围观。把动作加进去，就得到了 Bellman 在 1950 年代形式化的马尔可夫决策过程（Markov Decision Process, MDP）：

• $\mathcal{S}$：状态空间，$s\in\mathcal{S}$；
• $\mathcal{A}$：动作空间（action space），$a\in\mathcal{A}$，同样可离散可连续；
• $\mathcal{T}$：转移算子，现在是 $p(s_{t+1}|s_t,a_t)$——注意它现在依赖于动作，所以严格说它是一个三阶张量 $\mathcal{T}_{i,j,k}=p(s_{t+1}=i|s_t=j,a_t=k)$；
• $r:\mathcal{S}\times\mathcal{A}\to\R$：奖励函数。

2.4 加上观测：部分可观测 MDP

现实中智能体往往看不到真实状态。摄像头拍到的是像素，不是「前车的速度和距离」。这就是部分可观测马尔可夫决策过程（Partially Observed Markov Decision Process, POMDP），它是一个六元组：

新增的两样东西是：观测空间（observation space） $\mathcal{O}$，观测 $o\in\mathcal{O}$；以及发射算子（emission operator） $\mathcal{E}$，即 $p(o_t|s_t)$。注意奖励函数仍然定义在真实状态上，$r:\mathcal{S}\times\mathcal{A}\to\R$。

幻灯片上的提问「能把它写成马尔可夫链吗？」值得认真回答，因为答案揭示了 POMDP 为什么难：

Levine 的实际建议是：先把全部精力放在完全可观测的情形上。深度 RL 实践中处理部分可观测的常见做法不是精确的信念状态，而是「把最近 $k$ 帧堆叠起来当状态」（DQN 在 Atari 上叠 4 帧就是这么干的），或者用一个循环网络/Transformer 把历史压成隐藏向量。这些都是信念状态的粗糙近似，但工程上够用。第 20 讲左右会专门回来讲这件事。

3. 轨迹分布与 RL 的目标函数

3.1 策略与环境闭环产生的分布

把神经网络策略 $\pi_\theta(a|s)$ 和环境 $p(s'|s,a)$ 接成闭环：状态进网络，网络出动作，动作交给世界，世界返回新状态。反复 $H$ 步，就得到一条轨迹（trajectory） $\tau=(s_1,a_1,s_2,a_2,\dots,s_H,a_H)$。这条轨迹是随机的，它服从的分布叫轨迹分布（trajectory distribution）：

3.2 状态边缘分布

有时候我们只关心「第 $t$ 步时智能体在哪」，而不关心它是怎么走过来的。这就是状态边缘分布（state marginal） $p_\theta(s_t)$，把轨迹分布里其余变量全部积掉：

幻灯片上做了一步化简：由于 $t$ 之后的变量在被积掉之后概率之和为 1，它们对 $p_\theta(s_t)$ 没有贡献，于是可以直接砍掉：

这个「未来不影响现在」的因果性质看似平凡，但它是后面 reward-to-go 技巧的同一个数学事实的另一面。

3.3 目标函数

现在可以写出强化学习的目标了。我们要找一组参数 $\theta$，使得按 $p_\theta(\tau)$ 采样出来的轨迹，其累积奖励的期望最大：

把这个式子拆开来看，有三处值得注意：

• $\theta$ 在哪？ 不在被求期望的函数 $\sum_t r(s_t,a_t)$ 里——奖励函数是环境给的，跟 $\theta$ 无关；$\theta$ 在分布 $p_\theta(\tau)$ 里。所以这不是一个普通的「$\min_\theta f_\theta(x)$」型优化，求导需要特殊技巧（log-derivative trick），这是下一讲的主题。
• 期望里有未知量。 $p_\theta(\tau)$ 含有环境转移 $p(s_{t+1}|s_t,a_t)$，我们通常不知道它的解析形式。但我们能从中采样（跑策略就行）。「可采样但不可求值」是 RL 与一般随机优化的核心差异。
• 求和上限 $H$。 $H$ 有限叫 finite-horizon（episodic，回合制），比如一局游戏；$H=\infty$ 叫 infinite-horizon（continuing，持续任务），比如控制一座工厂。两者的目标写法不同，下一节专门处理。

4. 目标的两种写法：状态-动作边缘与平稳分布

4.1 有限步：换成状态-动作边缘的求和

目标里的期望是对整条轨迹取的，这看起来很吓人（轨迹空间的维度是 $H$ 乘以状态动作维度）。但因为被求期望的量是各时刻奖励之和，我们可以用期望的线性性把它拆开：

第二个等号成立，是因为 $r(s_t,a_t)$ 只依赖于轨迹中的第 $t$ 个状态-动作对，其余变量可以直接边缘化掉。这里的 $p_\theta(s_t,a_t)$ 叫状态-动作边缘（state-action marginal）：

也就是上一节的状态边缘再乘上当前策略。这一步的意义是把「对 $H$ 步联合分布求期望」变成了「对 $H$ 个二维边缘分别求期望再相加」——维度从 $O(H\cdot d)$ 降到了 $O(d)$。

4.2 全部写成线性代数

既然增广链的边缘演化是线性的，整个目标就能写成纯粹的矩阵表达式。设状态动作对共 $m$ 个，定义奖励向量 $\vec r\in\R^m$，其第 $i$ 个分量是 $r(s_i,a_i)$。则

最后一步用了 $\mu_t=\mathcal{T}_\theta^{\,t-1}\mu_1$，即从初始分布 $\mu_1$ 出发反复作用转移矩阵。

4.3 无限步：平稳分布登场

如果 $H=\infty$，上面那个和就发散了（每步拿 $+1$，累积奖励是 $\infty$）。有两种标准修补方式，本讲用的是平均奖励（average reward）：除以 $H$ 再取极限。

（另一种是引入折扣因子（discount factor） $\gamma\in(0,1)$，用 $\sum_t\gamma^{t-1}r_t$，这个下一讲会详细讲。）

这个极限存在吗？关键问题是：$p_\theta(s_t,a_t)$ 随 $t\to\infty$ 会收敛到某个固定分布吗？如果会，记这个极限分布为 $\bar\mu$，那么按 Cesàro 均值，时间平均也收敛到同一个东西，于是

5. 为什么强化学习永远在谈期望

把两种情形并排放在一起，就是 RL 目标的最终形态：

两个式子的共同点是：被优化的都是期望，而不是任何一次具体的结果。 这不只是「统计上更稳健」这么轻描淡写的理由。Levine 在这里给了一个非常漂亮的例子，说明期望是让整个优化问题有意义的前提。

5.1 这个观察的三个推论

推论一：RL 能处理不可微的奖励。 这是 RL 相对于「直接对目标做反向传播」的最大优势。奖励可以是「游戏是否获胜」（0/1）、「代码是否通过单元测试」（0/1）、「人类标注员是否更喜欢这个回答」（离散偏好）。这些量对模型参数没有梯度，但它们的期望有。用 RL 微调大语言模型（RLHF）之所以成立，用的正是这一条。

推论二：光滑性来自分布，不是来自奖励。 所以需要 $\pi_\theta$ 对 $\theta$ 可微，且是真正的分布（不能是确定性的 $\delta$ 函数）。如果策略是确定性的 $a=f_\theta(s)$，期望就退化成 $r(f_\theta(s))$，不光滑性又回来了。这就是为什么策略梯度类方法要求随机策略；而确定性策略梯度（DPG/DDPG）必须另辟蹊径——它借助 $Q$ 函数的可微性，把 $\nabla_\theta Q(s,f_\theta(s))$ 拿来当梯度，这已经不是同一套推导了。

推论三：期望也带来了新麻烦。 我们能优化期望，但我们无法直接计算期望——只能用有限个样本去估计它。这就引出了整个 RL 领域的核心矛盾：偏差-方差权衡。用 $N$ 条轨迹估计期望，标准误差是 $O(1/\sqrt N)$；而回报的方差随 horizon $H$ 增长（大致是 $O(H^2)$ 量级，因为回报是 $H$ 项之和）。这意味着长任务上策略梯度的信噪比会非常糟糕，第 5、6 讲会花大量篇幅对付它。

6. RL 算法的解剖：一个贯穿全课的三步循环

接下来是本讲最有「地图」价值的部分。Levine 给出一个抽象框架，本课后面二十讲的每一个算法都能塞进这个框架里：

三个框各自可以填不同的东西，填法的组合就构成了不同的算法族。先看两个具体实例。

6.1 实例一：最朴素的策略梯度

这里的 $J(\theta)$ 就是第 3 节写的目标函数。绿色框的「拟合模型」在这个实例里退化成了「算个平均数」——一行代码。真正的难点在蓝色框：$\nabla_\theta J(\theta)$ 怎么算？前面说过，$\theta$ 藏在分布里，而且分布里有未知的环境转移。这个问题的答案（log-derivative trick）就是下一讲的全部内容。

6.2 实例二：靠反向传播做 RL

这个思路值得展开一下，因为它揭示了 model-based RL 的本质。如果我们知道 $f_\phi$ 和 $r$，且两者都可微，那么整条轨迹就是一个巨大的可微计算图：

总回报 $\sum_t r(s_t,a_t)$ 是这个图的输出，对 $\theta$ 求导就是标准的时序反向传播（BPTT）。这在概念上极其简洁——RL 变成了一个普通的深度学习问题。但实践中它非常脆弱，原因和训练很深的 RNN 一样：梯度沿时间维度连乘，会指数爆炸或消失；而且模型误差也会沿时间累积，策略很容易学会「利用模型的错误」（在真实世界不成立的作弊路径）。第 10–12 讲会专门讲怎么把它做对。

6.3 哪一步贵？

6.4 把骨架写成代码

为了让这个循环不停留在框图层面，下面给出一个能真正跑起来的骨架。它把三步循环显式地写出来，绿色框和蓝色框留成可替换的函数——后面每一讲学到新算法，本质上都只是替换这两个函数。

import numpy as np
import torch, torch.nn as nn

class GaussianPolicy(nn.Module):
    """连续动作的高斯策略: a ~ N(mu_theta(s), exp(log_std)^2)"""
    def __init__(self, obs_dim, act_dim, hidden=64):
        super().__init__()
        self.mu = nn.Sequential(
            nn.Linear(obs_dim, hidden), nn.Tanh(),
            nn.Linear(hidden, hidden), nn.Tanh(),
            nn.Linear(hidden, act_dim))
        self.log_std = nn.Parameter(torch.zeros(act_dim))

    def dist(self, obs):
        return torch.distributions.Normal(self.mu(obs), self.log_std.exp())

    def act(self, obs_np):
        with torch.no_grad():
            a = self.dist(torch.as_tensor(obs_np, dtype=torch.float32)).sample()
        return a.numpy()


# ---------- 橙色框：生成样本（跑策略） ----------
def collect_trajectories(env, policy, n_traj, max_len):
    batch = []
    for _ in range(n_traj):
        obs, _ = env.reset()
        obs_l, act_l, rew_l = [], [], []
        for _t in range(max_len):
            a = policy.act(obs)
            nxt, r, term, trunc, _ = env.step(a)
            obs_l.append(obs); act_l.append(a); rew_l.append(r)
            obs = nxt
            if term or trunc:
                break
        batch.append(dict(obs=np.array(obs_l, dtype=np.float32),
                          act=np.array(act_l, dtype=np.float32),
                          rew=np.array(rew_l, dtype=np.float32)))
    return batch


# ---------- 绿色框：估计回报 / 拟合模型 ----------
def estimate_return(batch):
    """最朴素的填法：J(theta) 的蒙特卡洛估计 = 各轨迹总回报的平均"""
    return float(np.mean([traj["rew"].sum() for traj in batch]))


# ---------- 蓝色框：改进策略 ----------
def improve_policy(policy, optimizer, batch):
    """占位：具体形式由算法决定（第 5 讲填入策略梯度）"""
    raise NotImplementedError


# ---------- 三步循环 ----------
def rl_loop(env, policy, n_iters=200, n_traj=32, max_len=1000, lr=1e-3):
    optimizer = torch.optim.Adam(policy.parameters(), lr=lr)
    for it in range(n_iters):
        batch = collect_trajectories(env, policy, n_traj, max_len)   # 橙
        J_hat = estimate_return(batch)                               # 绿
        improve_policy(policy, optimizer, batch)                     # 蓝
        print(f"iter {it:4d}  avg return = {J_hat:8.2f}")

注意 estimate_return 目前只是打印用的诊断量，并没有参与梯度计算——因为 J_hat 是一个 Python 浮点数，早就和计算图断开了。「怎样构造一个其梯度恰好等于 $\nabla_\theta J(\theta)$ 的损失函数」是下一讲要解决的核心工程问题。

7. 值函数与 Q 函数：把嵌套期望打包

7.1 动机：期望套期望套期望

把 RL 目标按时间展开写成条件期望的嵌套形式：

这是一个深度为 $2H$ 的期望嵌套：状态期望、动作期望、状态期望、动作期望……交替出现。直接对付它没有希望。但仔细看会发现一个结构：最外层的 $s_1$ 和 $a_1$ 之后的那一大坨，只依赖于 $(s_1,a_1)$。如果我们能给这一大坨起个名字、并且知道它的值，问题就一下子简单了。

7.2 定义

两者的关系一目了然——$V$ 就是 $Q$ 关于策略的动作期望：

而 RL 目标本身就是 $V^\pi$ 在初始状态分布下的期望：

7.3 用它们改进策略的两个思路

思路 1（策略改进 / policy improvement）。 若已有策略 $\pi$ 且知道 $Q^\pi(s,a)$，定义新策略

则 $\pi'$ 至少不比 $\pi$ 差，通常更好。而且——这是最妙的地方——$\pi$ 是什么根本不重要。哪怕 $\pi$ 是一个随机乱动的策略，只要你能算出它的 $Q^\pi$，按上式贪心就一定能得到一个更好的策略。反复「评估 → 贪心」就是策略迭代（policy iteration）。

思路 2（提高优势动作的概率）。 注意 $V^\pi(s)=\E_{a\sim\pi}[Q^\pi(s,a)]$ 说明 $V^\pi(s)$ 是 $Q^\pi(s,\cdot)$ 在当前策略下的平均值。于是：

那就修改 $\pi(a|s)$，提高这些动作的概率。这个差值太重要了，以至于它有自己的名字——优势函数（advantage function）：

由定义立刻有 $\E_{a\sim\pi}[A^\pi(s,a)]=0$：在当前策略下，优势的平均值为零。这正是我们想要的「相对好坏」度量——它消除了状态本身好坏带来的偏移。第 6 讲会证明，把策略梯度里的回报换成 $A^\pi$ 能大幅降低方差，而这就是 actor-critic 的由来。

8. RL 算法全景：四大类

目标只有一个：

但通往它的路有四条。

8.1 Model-based RL

1. 只用模型做规划，根本不要策略。 连续动作空间用轨迹优化 / 最优控制（trajectory optimization / optimal control）——本质上就是对动作序列做反向传播，代表方法是 iLQR、MPC、CEM；离散动作空间用离散规划，比如蒙特卡洛树搜索（MCTS），AlphaGo/MuZero 用的就是它。
2. 把梯度反传到策略里。 就是 6.2 节讲的那条路，「需要一些技巧才能跑通」（Levine 原话）——主要是对付 BPTT 的梯度爆炸/消失和模型误差累积。
3. 用模型学一个值函数。 若模型已知，可以直接做动态规划（dynamic programming）解 Bellman 方程；或者用模型生成模拟经验喂给一个 model-free 学习器——这就是 Dyna 的思想，现代版本是 MBPO。

8.2 值函数方法

这是思路 1 的直接落地。它的巨大优势在于 off-policy：$Q^\star$（最优 $Q$）满足的 Bellman 最优方程

右边的期望只对环境转移取，完全不涉及采样用的策略。这意味着任何来源的 $(s,a,r,s')$ 四元组都能用来拟合 $Q^\star$——去年收集的数据、别人的数据、随机策略的数据统统可以。这就是经验回放（replay buffer）能存在的理论依据，也是 Q-learning 类方法样本效率高的根源。代价是稳定性：在深度网络下，Bellman 误差最小化不保证收敛（第 9 节详述）；而且 $\max_{a'}$ 在连续动作空间里本身就是个难题。

8.3 直接策略梯度

这类方法的定位很特殊：它是唯一真正在对我们关心的目标做梯度上升的方法。这带来了最好的理论保证（在合适的学习率下必然收敛到局部最优），但也带来了最差的样本效率——因为一旦策略更新了，之前的样本就来自旧策略，严格来说不能再用了（on-policy）。

8.4 Actor-critic：把两者缝在一起

直觉是这样的：策略梯度的方差主要来自「用一条采样轨迹的总回报去估计期望回报」。而 critic 是一个学出来的、平滑的函数逼近器，它把很多条轨迹的信息压缩进去了，用它替代单条采样回报能大幅降低方差——代价是引入了偏差（critic 拟合得不准）。Actor-critic 就是这条偏差-方差谱线上的一族方法：纯策略梯度是「零偏差、高方差」的一端，纯值函数方法是「高偏差、低方差」的另一端。第 6 讲会精确刻画这条谱线（$n$-step return、GAE）。

9. 权衡：为什么 RL 算法这么多

如果只有一个算法在所有维度上都最好，这门课就不用上二十讲了。现实是每一类方法都在某个维度上做了牺牲。下面逐个维度拆开。

9.1 采样效率与 on-policy / off-policy

采样效率（sample efficiency）的定义是：要得到一个足够好的策略，需要在环境里交互多少步？

9.2 稳定性与收敛性

Levine 在这里问了一个初看很怪的问题：「这怎么会成为一个问题？」 监督学习里我们从来不担心「算法会不会收敛」——梯度下降就是梯度下降，学习率够小就单调下降。但 RL 里：

Model-based 的问题则更微妙：模型训练是标准监督学习，一定收敛；但你的模型是按「预测下一状态的均方误差」训的，不是按「用它规划出来的策略好不好」训的。一个在训练分布上误差很小的模型，可能在策略优化推向的新区域里错得离谱，而优化器恰恰会主动去寻找那些「模型预测收益很高但其实是幻觉」的区域。这叫 model exploitation，是 model-based RL 最核心的难题。

9.3 假设与表示难度

最后这一行值得多说一句，因为它是选型时最实用的判据。Levine 举的例子是：想象一个装满水的杯子被打翻——模拟液体流动（模型）极难，但「别碰倒杯子」（策略）极简单。反过来，在围棋里模型完全已知且精确（就是规则），而最优策略复杂到人类几千年都没穷尽。所以围棋适合用 MCTS + 模型，而灵巧操作更适合直接学策略。先问自己「这个任务里，是策略更简单还是动力学更简单」，答案往往直接决定了该走哪条技术路线。

10. 具体算法清单与两个例子

把上面的分类落到具体名字上，就得到了本课后半程的目录。

10.1 例子一：用 Q 函数玩 Atari

这个工作（Mnih et al., 2013）之所以成为深度 RL 的引爆点，是因为它第一次证明：同一套超参数、同一个网络结构，不做任何针对单个游戏的调整，就能在几十个 Atari 游戏上达到甚至超过人类水平。它把「函数逼近 + Q-learning」这个理论上不保证收敛的组合，用两个工程技巧（experience replay 打破样本相关性，target network 稳定回归目标）掰成了能用的东西。

10.2 例子二：用策略梯度学走路

把两个例子并排看，四大分类的选型逻辑就清楚了：离散动作 + 像素输入 + 便宜仿真 → 值函数方法；连续高维动作 + 需要稳定训练 → 策略梯度 / actor-critic。而如果场景换成真实机器人、样本以「小时」计，那就该考虑 model-based 了。

本讲小结

速查表：本讲定义的所有记号

要点清单

• 三个模型层级：Markov chain $\{\mathcal S,\mathcal T\}$ → MDP $\{\mathcal S,\mathcal A,\mathcal T,r\}$ → POMDP $\{\mathcal S,\mathcal A,\mathcal O,\mathcal T,\mathcal E,r\}$。固定策略后 MDP 退化为增广状态 $(s,a)$ 上的马尔可夫链。
• 目标的三种等价写法：轨迹期望 $\E_{\tau\sim p_\theta(\tau)}\left[\sum_t r\right]$；边缘求和 $\sum_t\E_{p_\theta(s_t,a_t)}[r]$；线性代数 $\left[\sum_t\mathcal{T}_\theta^{t-1}\mu_1\right]^\top\vec r$。无限步时取时间平均，等于 $\bar\mu^\top\vec r$。
• 平稳分布的论证：平稳 ⟺ $(\mathcal{T}_\theta-I)\bar\mu=0$ ⟺ $\bar\mu$ 是特征值 1 的特征向量；在遍历性条件下存在唯一，且收敛速度由谱隙决定。
• 期望是可优化的前提：奖励可以是阶跃函数（掉崖 $-1$ / 不掉 $+1$），但 $\E_{\pi_\theta}[r]=1-2\theta$ 关于 $\theta$ 光滑。这是所有梯度型 RL 方法成立的根基，也是 RL 能处理不可微奖励（游戏胜负、人类偏好）的原因。
• 三步循环：生成样本 → 拟合模型 / 估计回报 → 改进策略。四大算法族只是这三个框的不同填法。
• $Q$ 与 $V$ 的两个用法：贪心改进（通向 Q-learning，改进定理保证不变差）；提高优势为正的动作的概率（通向策略梯度 / actor-critic）。
• 核心权衡：off-policy ⟹ 样本效率高；策略梯度是唯一真正做梯度上升的方法，稳定但费样本；值函数方法是不动点迭代，非线性下无收敛保证；model-based 模型一定收敛，但好模型 ≠ 好策略。采样效率 ≠ 墙钟时间。
• 选型判据：采样贵不贵？动作连续还是离散？策略好表示还是模型好表示？这三问基本决定了技术路线。

延伸阅读

本讲直接提到的论文

• Playing Atari with Deep Reinforcement Learning (Mnih et al., 2013) — 深度 RL 的引爆点，值函数方法的范例；读它主要是看 replay buffer 和 target network 这两个让 Q-learning 稳定下来的工程技巧。
• High-Dimensional Continuous Control Using Generalized Advantage Estimation (Schulman et al., 2016) — 连续控制的策略梯度范例；GAE 是「偏差-方差谱线」最清晰的技术表达，第 6 讲会详细推。
• Trust Region Policy Optimization (Schulman et al., 2015) — 上一篇里用的策略优化方法，第 9 讲的主角。

四大算法族的入口论文

• Proximal Policy Optimization Algorithms (Schulman et al., 2017) — 如果只读一篇策略梯度的论文，读这篇；它是当前工业界（含 RLHF）事实上的默认算法。
• Soft Actor-Critic (Haarnoja et al., 2018) — off-policy actor-critic 的代表，连续控制上样本效率与稳定性兼顾得最好的方法之一。
• When to Trust Your Model: Model-Based Policy Optimization (Janner et al., 2019) — MBPO，现代 Dyna 类方法；正面处理了「模型误差如何限制想象 rollout 长度」这个问题。
• Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (Schrittwieser et al., 2019) — MuZero，把「学模型」重新定义为「学一个足以支持规划的隐表示」。

打基础的教材与综述

• Sutton & Barto, Reinforcement Learning: An Introduction（第 2 版，2018，作者官网免费）— 第 3 章讲 MDP 与值函数，第 4 章讲动态规划与策略改进定理，正好覆盖本讲第 2、4、7 节的内容，且推导更细。
• Puterman, Markov Decision Processes: Discrete Stochastic Dynamic Programming（1994）— 想把平稳分布、遍历性、平均奖励准则这些理论细节搞扎实，看这本；本讲第 4 节的正则性条件在这里有完整处理。
• An Introduction to Deep Reinforcement Learning (François-Lavet et al., 2018) — 一篇结构清晰的综述，可以当作本讲「算法全景图」的文字版扩写。

关于部分可观测

• Kaelbling, Littman & Cassandra, Planning and Acting in Partially Observable Stochastic Domains（1998）— POMDP 与信念状态的经典综述，本讲第 2.4 节的完整版。
• Deep Recurrent Q-Learning for Partially Observable MDPs (Hausknecht & Stone, 2015) — 用 LSTM 代替帧堆叠来近似信念状态，是深度 RL 处理 POMDP 最直接的做法。