离线强化学习

0. 本讲导读

到目前为止，本课程里的每一个算法——策略梯度、Q-learning、actor-critic、基于模型的方法——都默认了一件事：你可以随时和环境交互。哪怕是所谓的「离策略（off-policy）」算法，比如 DQN 和 SAC，它们的 replay buffer 里装的也是自己刚刚跑出来的数据；只要当前策略想试一个新动作，下一轮采样它就会去试，试完就知道好不好。

这一讲要把这个假设彻底拿掉。离线强化学习（offline RL，也叫 batch RL、fully off-policy RL）的设定是：给你一个固定的数据集 $\mathcal{D}$，它由某个（或某些）行为策略（behavior policy） $\pi_\beta$ 事先采集好；你在整个训练过程中一次都不能与环境交互；训练结束后策略 $\pi_\theta$ 被部署一次，用最终表现打分。

这个设定听上去像是给自己找麻烦，但它其实是把 RL 推向真实世界的关键一环。机器人、自动驾驶、医疗决策、推荐系统、对话系统——这些领域的共同点是在线试错要么很贵，要么很危险，要么根本不合法，但历史数据往往堆积如山。同时，理解离线 RL 会反过来极大加深你对 RL 本身的理解：本讲揭示的「$\max$ 算子系统性地放大函数逼近误差」这一机制，其实在所有 Q-learning 类算法里都存在，只是在线交互一直在偷偷帮你打补丁，你没注意到而已。

本讲分三部分展开。第一部分回答「什么是离线 RL、它凭什么可能比数据更好」，核心概念是拼接（stitching）。第二部分是全讲的技术核心：分布偏移（distributional shift）为什么在离线设定下从一个小麻烦变成致命伤，以及它在 Q-learning、model-based RL、importance sampling 三类方法里分别长什么样。第三部分给出第一类解法——策略约束（policy constraint）——的第一性原理推导，并讨论应该用哪种散度度量。更完整的算法家族（CQL、IQL、悲观模型法等）留到下一讲。

1. 三种数据流范式：on-policy、off-policy、offline

先把三种设定的数据流画清楚，因为它们的差别只体现在「谁采的数据、还能不能再采」这两个问题上，但后果天差地别。

形式化定义

离线 RL 的数据集写作

这里 $s$ 是状态（假设满足马尔可夫性），$a$ 是动作，$r(s,a)$ 是奖励，$p(s'\mid s,a)$ 是环境的真实转移。$\pi_\beta$ 就是行为策略，$p_\beta(s)$ 是它诱导出的状态边缘分布。有两点必须强调：

1. $\pi_\beta$ 通常是未知的。 数据可能来自人类操作员、来自一个写死的控制器、来自若干个不同版本的旧策略，甚至是这些的混合。你手上只有样本，没有那个条件分布的解析形式。很多算法需要显式估计 $\hat\pi_\beta$，这本身就是一个误差来源。
2. 转移 $s'$ 只在数据里出现过的 $(s_i,a_i)$ 上有。 这一句是后面所有推导的支点：你想问「如果在 $s_i$ 做另一个动作 $\tilde a$ 会怎样」，数据集里没有答案。

而我们的优化目标仍然是标准的 RL 目标——注意期望是在新策略 $\pi_\theta$ 下取的：

为什么值得关心：数据驱动 AI 与 RL 的互补

2. 离线 RL 凭什么能比数据更好：拼接

这是初学者最容易误解的一点。听到「只用固定数据集学策略」，第一反应往往是：那不就是模仿学习吗？最好也就学成数据里最好的那个水平。不对。离线 RL 的目标恰恰是超过数据集里最好的轨迹。它靠三件事做到这一点：

2.1 一个可以手算的拼接例子

为了把「拼接」讲透，我们造一个最小的确定性 MDP。四个状态 $\{A, B, C, G\}$，$G$ 是目标。可用转移与奖励：

数据集里只有这三条轨迹。取 $\gamma=0.9$，先算一算数据里最好的完整轨迹值多少：轨迹 2 是 $A\to C\to G$，回报 $= -1 + 0.9\times 10 = 8.0$；轨迹 1 是 $A\to B\to G$，回报 $=0$。所以模仿学习最好也就学到 $8.0$（还得假设它精准地只模仿轨迹 2，实际上行为克隆会把轨迹 1 和 3 也一并学进去，期望回报还要更低）。

现在做 Q-learning 的 Bellman 备份。数据里有 $(C,\to G)$ 这个转移，于是

数据里有 $(B, \to C)$ 这个转移，于是

数据里有 $(A, \to B)$ 这个转移，于是

$8.1 > 8.0$。贪心策略于是选择 $A \to B \to C \to G$——这条轨迹在数据集里根本不存在。它是由三条不同轨迹的片段拼出来的：$A\to B$ 来自轨迹 1，$B \to C$ 来自轨迹 3，$C\to G$ 来自轨迹 2。这就是 stitching。

2.2 宏观拼接与微观拼接

微观拼接解释了一个常见的实验现象：即使数据集里没有任何一条成功轨迹，离线 RL 有时也能学出成功的策略。因为「成功」可以由大量各自失败的轨迹的局部片段组装而成。这也是离线 RL 相对于「筛选出高回报轨迹再做行为克隆」（即 filtered BC / %BC 这类基线）的真正优势所在——后者的天花板严格等于数据集里最好轨迹的水平，前者没有这个天花板。

3. 核心困难：反事实查询与分布偏移

拼接是好消息。现在讲坏消息，而且这个坏消息大到足以让所有标准算法直接失效。

3.1 反事实查询：offline RL 的原罪

请注意这里的两难：

• 如果完全不允许 OOD 动作 → 退化成模仿学习，第 2 节讲的拼接和「超越数据」全部失效。
• 如果放任 OOD 动作 → 下面会看到，$Q$ 函数会在这些动作上编出天文数字，策略会追着幻觉走。

整个离线 RL 领域，本质上就是在这条钢丝上找平衡点。

3.2 复习分布偏移：它到底能有多糟

但你可能会说：分布偏移在监督学习里天天发生，深度网络的泛化能力其实很强，通常不是大问题。这话对，但离线 RL 里的分布偏移有一个致命的额外性质，下一小节就是要点出这个性质。

3.3 从 ERM 说起：$\argmax$ 是一个对抗性查询

4. 分布偏移藏在每一类离策略算法的哪里

上一节的结论是抽象的。这一节把它落到具体算法上——你会发现每一类离策略方法都有一处「在 $\pi_\theta$ 下查询用 $\pi_\beta$ 数据训出来的模型」的地方，而那一处就是它的死穴。

4.1 Q-learning 与 Q 函数 actor-critic

把它拆成两句人话：

1. 回归的输入分布是 $\pi_\beta$。 $Q_\phi$ 只在数据里出现过的 $(s,a)$ 附近被约束过，别处纯属外推。
2. 目标里的期望却是在 $\pi_\theta$ 下取的，而 $\pi_\theta$ 是被训练成去最大化 $Q_\phi$ 的。 换句话说，我们让一个优化器去 $\pi_\beta$ 覆盖不到的地方，主动搜索 $Q_\phi$ 最离谱的高估点，然后把这个高估点的值当作回归目标写回去。

第 2 点是全讲最重要的一句话。它不只是「用了错误的估计」，而是「把错误的估计固化成监督信号」。下一节会看到这个循环如何指数级放大误差。

4.2 基于模型的 RL

4.3 离策略策略梯度与重要性采样

为什么 IS 的方差会爆炸？做一个最简单的量化。设在每个时间步上重要性权重 $w_t = \pi_\theta(a_t\mid s_t)/\pi_\beta(a_t\mid s_t)$，整条长度为 $H$ 的轨迹的权重是乘积

无偏性没问题：$\E_{\pi_\beta}[w_{1:H}]=1$。但方差呢？假设各步权重近似独立同分布，$\E[w_t]=1$、$\mathrm{Var}(w_t)=\sigma^2$，那么 $\E[w_t^2]=1+\sigma^2$，于是

方差随时间步指数增长。 代个数：即使 $\sigma^2 = 0.1$（两个策略已经相当接近了），$H=100$ 时 $\mathrm{Var} \approx 1.1^{100}-1 \approx 1.4\times 10^{4}$；标准差约 118，而被估量的均值是 1。要把标准误压到 $0.1$，你需要约 $118^2/0.1^2 \approx 1.4\times 10^{6}$ 条轨迹。$H=1000$ 时这个数字变成 $10^{41}$ 量级——比宇宙里的原子还多。

这里还藏着一个更本质的问题：权重的分布是极端右偏的。绝大多数样本的 $w_{1:H}\approx 0$，估计量的全部质量集中在极少数几个巨大权重的样本上，这被称为「有效样本量塌缩」。你可以用

来诊断：$n_{\text{eff}}$ 常常只有个位数，哪怕你有一百万条轨迹。

更糟的是，如果某个 $a_t$ 满足 $\pi_\beta(a_t\mid s_t)\approx 0$ 而 $\pi_\theta(a_t\mid s_t)>0$，权重直接趋于无穷——这恰恰就是 OOD 动作。所以「IS 方差爆炸」和「$Q$ 值高估」并不是两个独立的毛病，它们是同一个病在两种估计器上的两副面孔：你在问一个数据无法回答的问题。区别只在于，IS 的估计器至少诚实地把这份无知报告成了巨大的方差，而 $Q$ 网络会用一个平滑的外推掩盖这份无知，给你一个自信满满的错误数字。从这个角度说，基于 $Q$ 的方法更危险。

最后一行值得玩味：行为克隆之所以在离线设定下稳如老狗，正是因为它放弃了反事实推理。 稳定性和「超越数据的能力」在这里是一对此消彼长的量，所有离线 RL 算法都是在这条轴上选一个点。

5. 没有负反馈的正反馈：误差如何自我放大

现在把 4.1 节的两句话接成一个闭环，看看误差是怎么滚雪球的。这是本讲最需要「讲透」的一段。

5.1 一步一步写出误差递推

5.2 泛化误差不再被修正

5.3 实证：SAC 直接跑离线数据会怎样

这张图还有一个值得反复咀嚼的细节：不同数据量的曲线并没有呈现「数据越多越好」的单调关系。 在右图里，最小的数据集 $n=1000$（蓝线）反而对应最猛烈的 $Q$ 值爆炸；而在左图里，几条曲线的真实回报互有高低，$n=10^5$（绿线）在后期甚至掉到了最下面。这种「更多数据反而更差」的反直觉现象在离线 RL 文献里被反复报告，原因有两层：

• 更大的数据集通常覆盖更广的状态空间。 更广的状态空间意味着更多「网络见过一点点、但见得不够」的边缘地带，也就给了 $\argmax$ 更多可以钻的空子。数据量增加带来的收益（每个点估得更准）会被状态空间扩张带来的损失（更多可被攻击的角落）抵消甚至反超。
• 更大的数据集常常来自更多样的行为策略。 $\pi_\beta$ 越「宽」，动作分布越平坦，任意给定动作的密度 $\pi_\beta(a\mid s)$ 反而越低，反事实查询的可靠性并没有随之提升。

6. 离线策略评估与重要性采样的方差

在讲怎么学之前，先看一个更基础也更谦虚的问题：离线策略评估（off-policy evaluation, OPE）——只给数据集 $\mathcal{D}$ 和一个候选策略 $\pi_\theta$，估计它的回报 $J(\pi_\theta)$，不要求学习。这个问题在实际中极其重要（你总得知道该不该把新策略上线），而它的困难度已经足以说明离线 RL 的全部麻烦。

6.1 朴素的轨迹级 IS

设数据集里有 $N$ 条完整轨迹 $\tau^{(i)}=(s_1^{(i)},a_1^{(i)},r_1^{(i)},\dots)$，由 $\pi_\beta$ 采集。轨迹分布为

做比值时，初始分布 $p(s_1)$ 和转移 $p(s_{t+1}\mid s_t,a_t)$ 完全消掉（它们与策略无关），这正是 IS 在 RL 里可用的原因：

于是得到无偏估计

6.2 三个改进：per-decision、self-normalized、doubly robust

(1) 逐决策 IS（per-decision IS）。 利用因果性：时刻 $t$ 的奖励只受 $t$ 之前动作的影响，所以不需要乘上未来的权重。

仍然无偏，但方差小得多——早期的奖励只需要承受很短的权重乘积。这与第 5 讲策略梯度里的 reward-to-go 技巧是同一个「因果性省方差」的思想。

(2) 自归一化 IS（weighted / self-normalized IS）。 把 $\frac{1}{N}$ 换成 $\frac{1}{\sum_i w^{(i)}}$：

它有偏但一致（$N\to\infty$ 时收敛到真值），方差大幅下降，而且有界性很好：估计值必然落在数据中实际观测到的回报范围内，不会像 $\hat J_{\text{IS}}$ 那样被一条巨权重轨迹拉到天上去。实践中几乎总是用它。

(3) 双重稳健（doubly robust, DR）。 引入一个学出来的值函数 $\hat V,\hat Q$ 作为控制变量：

名字里的「双重」指：只要 $\hat Q$ 准确或者 $\hat\pi_\beta$ 准确（二者有其一），估计就是无偏的。直觉是把大部分信号交给低方差的 $\hat Q$，只用 IS 去修正 $\hat Q$ 的残差 $r - \hat Q$，残差小则权重乘上去的方差也小。

import numpy as np

def ope_estimators(trajs, pi_theta_logp, pi_beta_logp, gamma=0.99):
    """trajs: list of dicts with keys 'states','actions','rewards' (numpy arrays).
    pi_*_logp(states, actions) -> per-step log prob, shape (T,).
    Returns naive IS, per-decision IS, and weighted IS estimates."""
    is_terms, pdis_terms, w_full = [], [], []
    for tr in trajs:
        s, a, r = tr['states'], tr['actions'], tr['rewards']
        T = len(r)
        logratio = pi_theta_logp(s, a) - pi_beta_logp(s, a)   # (T,)
        # 累积对数权重 -> 数值上远比直接连乘稳定
        cum_logw = np.cumsum(logratio)                        # w_{1:t}
        w_t = np.exp(np.clip(cum_logw, -30.0, 30.0))          # 截断防溢出
        disc = gamma ** np.arange(T)

        R = np.sum(disc * r)                 # 折扣回报
        w_T = w_t[-1]
        is_terms.append(w_T * R)             # 轨迹级 IS
        pdis_terms.append(np.sum(disc * w_t * r))  # 逐决策 IS
        w_full.append(w_T)

    is_terms = np.array(is_terms); w_full = np.array(w_full)
    n_eff = w_full.sum() ** 2 / np.sum(w_full ** 2)   # 有效样本量诊断
    # is_terms[i] = w[i] * R[i]，所以 sum(is_terms)/sum(w) 正是自归一化 IS
    wis = is_terms.sum() / w_full.sum() if w_full.sum() > 0 else 0.0
    return {
        'IS':   is_terms.mean(),
        'PDIS': np.mean(pdis_terms),
        'WIS':  float(wis),
        'n_eff': n_eff,          # 若 n_eff << N，说明该估计不可信
        'N': len(trajs),
    }

6.3 从「方差爆炸」到「策略约束」的第一次现身

回头看第 4.3 节那个 IS 版策略梯度目标：

第二项 $\beta\log\pi_\theta(a_t^{(i)}\mid s_t^{(i)})$ 在幻灯片上被标注为「就别往那儿去」，并被明确称为策略约束的一个例子。它是什么？把它在数据上求和并取平均，就是

也就是行为克隆的对数似然，等价于（差一个与 $\theta$ 无关的常数）负的前向 KL：

所以那一项在做的事是：把 $\pi_\theta$ 往 $\pi_\beta$ 上拉，从而让重要性比值不至于离 1 太远，方差不至于爆炸。 这就是本讲第三部分的主角。注意它是自然涌现的，不是硬塞进去的——控制分布偏移和控制估计方差是同一件事。

7. 解法总览：四类思路，一个共同原则

三条路线的分工可以这样理解——它们干预的是同一个式子的不同位置：

为什么必须用基于值的方法？

幻灯片顶上那句「use value-based methods」不是随口一提。回顾第 2 节：拼接的能力完全来自 Bellman 备份能把价值信息跨轨迹传播。如果你用 Monte Carlo 回报（比如 return-conditioned BC、Decision Transformer 那一路），你的算法只能看到「这条轨迹整体拿了多少分」，永远学不会「$B$ 这个状态其实可以通向高分」。因此：

• 能拼接的算法必须做动态规划（$Q$-learning / actor-critic）；
• 而动态规划的 $\max$ 恰恰是分布偏移最致命的入口。

这个张力是离线 RL 的结构性宿命：你想要的能力和你害怕的失效模式，来自同一个算子。 所以所有方法都不是「删掉 $\max$」，而是「给 $\max$ 加个笼子」。

8. 策略约束：从第一性原理推出来

8.1 目标函数的两种等价写法

把上图形式化。策略约束方法的标准形式是一个带约束的优化问题：

用拉格朗日乘子转成无约束的惩罚形式：

当 $D$ 取反向 KL 时，还有第三种更漂亮的写法：把惩罚吸收进奖励。因为

所以带反向 KL 惩罚的目标等价于

右边正是最大熵 RL（第 14 讲）的目标，只是把奖励改成了 $r(s,a) + \lambda\log\pi_\beta(a\mid s)$。这个观察非常有用：你可以把任何一个 MaxEnt RL 算法（比如 SAC）直接改造成策略约束的离线算法，只需要在奖励里加一项「行为策略对数似然」。 幻灯片上那句 "just add $\log\pi_\beta$ to $r$" 说的就是这件事。

8.2 为什么这样就能修好问题

把作用机理说得再细一点，约束同时买到了两样东西：

1. 切断了第 5 节的正反馈循环。 Bellman 目标里的 $\E_{a'\sim\pi_\theta}[Q(s',a')]$ 现在只会在 $\pi_\beta$ 支撑集附近取值，$\delta_{\text{ood}}$ 被压到 $\epsilon_{\text{in}}$ 的量级，递推 $\Delta_{k+1}=\gamma\Delta_k + \epsilon_{\text{in}}$ 重新变成收缩，收敛到 $\frac{\epsilon_{\text{in}}}{1-\gamma}$ 的有界误差。
2. 保留了拼接能力。 这一点常被忽视但至关重要：约束限制的是每个状态上的动作分布，而不是整条轨迹。策略在 $s_1$ 处可以选轨迹 1 里出现过的动作，在 $s_2$ 处选轨迹 3 里出现过的动作——每一步都「在数据分布内」，组合起来却是数据里从未有过的轨迹。第 2 节那个 $A\to B\to C\to G$ 的例子完全落在约束之内。

import torch, torch.nn.functional as F

def actor_loss_with_kl_constraint(q_net, actor, beh_actor, states,
                                  lam=1.0, n_samples=4):
    """反向 KL 版策略约束：max E_{a~pi}[Q] - lam * KL(pi || pi_beta)
    actor / beh_actor 返回 torch.distributions 对象（如 Normal + tanh）。"""
    dist = actor(states)
    # rsample 走重参数化，梯度能穿过采样进入 actor
    a = dist.rsample((n_samples,))                    # (K, B, act_dim)
    logp_pi = dist.log_prob(a).sum(-1)                # (K, B)

    with torch.no_grad():
        beh = beh_actor(states)                       # 事先用 BC 拟合好的 pi_beta
    logp_beta = beh.log_prob(a).sum(-1)               # (K, B)

    s_rep = states.unsqueeze(0).expand(n_samples, *states.shape)
    q = q_net(s_rep.reshape(-1, states.shape[-1]),
              a.reshape(-1, a.shape[-1])).view(n_samples, -1)

    kl = (logp_pi - logp_beta).mean(0)                # 反向 KL 的单样本估计
    return -(q.mean(0) - lam * kl).mean()             # 取负号变成待最小化的 loss


def critic_loss(q_net, q_targ, actor, batch, gamma=0.99, n_samples=4):
    """Bellman 目标里的 a' 从「被约束过的」策略采，从而不查询 OOD 动作。"""
    s, a, r, s2, done = batch
    with torch.no_grad():
        d2 = actor(s2)
        a2 = d2.sample((n_samples,))                  # (K, B, act_dim)
        s2_rep = s2.unsqueeze(0).expand(n_samples, *s2.shape)
        q2 = q_targ(s2_rep.reshape(-1, s2.shape[-1]),
                    a2.reshape(-1, a2.shape[-1])).view(n_samples, -1)
        # 用 min 而不是 max：对多次采样取悲观估计，进一步抑制高估
        y = r + gamma * (1.0 - done) * q2.min(dim=0).values
    return F.mse_loss(q_net(s, a), y)

注意 critic_loss 里那个 q2.min(...)：即使加了策略约束，对多个采样动作取 min 而非 mean 仍然是实践中的标配技巧——它是「悲观」思想的一个廉价近似，和第 8 讲的 clipped double Q-learning 属于同一族。这也说明真实系统里几种思路是叠加使用的，而不是二选一。

9. 用哪一种约束？前向 KL、反向 KL 与支撑集约束

上一节把约束写成了抽象的 $D(\pi_\theta,\pi_\beta)$。具体该选什么？这个选择比想象中重要，而且它的影响远超离线 RL——RLHF 里 PPO 的 KL 惩罚、变分推断里 ELBO 的方向，都是同一个问题。

9.1 两个方向的 KL 各自在优化什么

9.2 什么时候该用哪个

为什么离线 RL 更偏爱反向 KL？因为数据集本来就是好坏混杂的。前向 KL 会强迫 $\pi_\theta$ 给数据里的每一种行为都留下概率质量，包括那些回报很低的模态——这与「找出数据里的好东西」的目标直接冲突。而 LLM 的 RLHF 场景恰好相反：预训练分布代表的是「语言的合法性」，你不希望优化过程把整片语言空间坍缩掉，mode covering 反而是想要的性质。同一个数学工具，在两个场景下的取舍完全相反，这是很好的一课。

9.3 理想的约束：支撑集约束

为什么这才是「理想」？比较三种约束对同一个策略的态度：

第三行是反向 KL 唯一的短板：假设 $\pi_\beta$ 在某个状态是个宽高斯，而真正的最优动作是这个高斯正中央的一个点。反向 KL 依然会因为「你比 $\pi_\beta$ 尖太多了」而给你一份惩罚（$D_{\mathrm{KL}}$ 在 $\pi_\theta$ 收缩成 delta 时是发散的），逼着你保留一些不必要的随机性。支撑集约束不会——它只关心「在不在里面」，不关心「形状像不像」。

那为什么大家不都用它？看它的定义式：$\delta(\pi_\beta(a\mid s)=0)$ 是一个指示函数，它处处梯度为零、且需要精确判断某个动作的密度是否严格为 0。在连续动作空间里用有限样本判断「支撑集边界在哪」，是一个极其病态的统计问题——这就是幻灯片最后一句「very hard to approximate tractably」的含义。实践中的替代品包括：用最大平均差异（MMD）近似支撑集距离（BEAR 的做法）、用条件 VAE 生成候选动作再做小幅扰动（BCQ 的做法）、或者干脆绕开约束改用保守值函数（CQL）与样本内备份（IQL）——这些正是下一讲的主题。

本讲小结

一页速查

需要牢牢记住的三句话

1. 离线 RL 想要的能力和它害怕的失效模式来自同一个算子。 动态规划的 $\max$ 既是拼接的引擎，也是高估的放大器。所有方法都不是删掉它，而是给它加笼子。
2. 低 Bellman 误差 ≠ 好策略。 前者是 $\pi_\beta$ 分布下的平均量，后者取决于 $\argmax$ 挑中的那个点。离线 RL 里必须放弃「看 TD loss 判断训练是否正常」的习惯，改看 $Q$ 值的绝对量级。
3. 稳定性与「超越数据」是一对此消彼长的量。 行为克隆在光谱的最稳定一端（也最平庸），无约束 Q-learning 在最激进一端（也最容易爆炸）。所有离线 RL 算法都是在这条轴上选一个点，超参 $\lambda$ 就是那个刻度。

下一讲预告

本讲只给出了策略约束的原理框架，还留下一堆没答的问题：如果我不想估计 $\pi_\beta$ 呢？如果我想直接让 $Q$ 函数自己变保守呢？有没有办法完全不查询样本外动作？下一讲会把 CQL 的保守 $Q$ 目标、IQL 的期望回归与隐式最大化、AWAC/AWR 的加权回归形式、以及 MOPO/COMBO 这类保守模型方法的目标函数逐条推导出来，并给出「什么数据该用什么方法」的工程判断。

延伸阅读

综述与教程（先读这两篇）

• Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems (2020) — Levine 等人写的离线 RL 权威综述，本讲的内容基本可以看作它前四节的浓缩版；想把分布偏移的形式化分析补全，直接看这一篇。
• Diagnosing Bottlenecks in Deep Q-learning Algorithms (2019) — 系统拆解 Q-learning 里采样误差、函数逼近误差、分布偏移各自贡献了多少，第 5 节那个「误差不被纠正」的论断在这里有实证支撑。

分布偏移与高估的诊断

• Off-Policy Deep Reinforcement Learning without Exploration (2019) — BCQ 原始论文，第一次清楚地把「外推误差（extrapolation error）」命名并量化，并给出「标准离策略算法在固定数据集上失败」的实验，本讲第 5.3 节的现象源头之一。
• Stabilizing Off-Policy Q-Learning via Bootstrapping Error Reduction (2019) — BEAR，提出用 MMD 做支撑集约束的近似，正是第 9.3 节说的「难以近似」的一种可行妥协。
• Deep Reinforcement Learning with Double Q-learning (2015) — 最大化偏差的经典处理，读它可以看清第 3.3 节的 $\argmax$ 偏差在在线设定下是什么量级，从而对比出离线设定放大了多少。

策略约束类方法

• Behavior Regularized Offline Reinforcement Learning (2019) — 把各种策略约束（KL、MMD、Wasserstein，惩罚形式 vs 硬约束）放进一个统一框架做对照实验，是选约束时最实用的参考。
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets (2020) — 把策略约束写成优势加权回归的闭式解，训练极稳定，且天然支持「离线预训练 + 在线微调」这条第 1 节图里的路径。
• A Minimalist Approach to Offline Reinforcement Learning (2021) — TD3+BC，在 TD3 的 actor loss 上直接加一项行为克隆（即前向 KL），二十行改动打平复杂方法，是「简单基线的力量」的最佳案例。

下一讲会展开的方法

• Conservative Q-Learning for Offline Reinforcement Learning (2020) — CQL，第 7 节表格里「悲观值函数」那一行的代表作，把「让 $Q$ 成为真值的下界」写成一个可以加进任意 critic 损失的正则项。
• Offline Reinforcement Learning with Implicit Q-Learning (2021) — IQL，用期望分位数回归实现「样本内最大化」，全程不查询任何数据集外的动作。
• MOPO: Model-based Offline Policy Optimization (2020) — 把模型不确定度直接从奖励里扣掉，第 4.2 节那个「规划器攻击模型幻觉」的对症解法。

离线策略评估

• Doubly Robust Off-policy Value Evaluation for Reinforcement Learning (2015) — 第 6.2 节 DR 估计量的原始推导与方差分析。
• Data-Efficient Off-Policy Policy Evaluation for Reinforcement Learning (2016) — 把 per-decision IS、WIS 与 DR 融合成 MAGIC 估计量，是实际做 OPE 时的实用参考。

基准数据集

• D4RL: Datasets for Deep Data-Driven Reinforcement Learning (2020) — 离线 RL 的标准评测集。它专门设计了考察拼接能力的任务（如 antmaze、maze2d 的 diverse/play 数据集），在这些任务上行为克隆几乎必然失败，是验证第 2 节论断的最佳试验场。