多任务与分层强化学习

0. 本讲导读

到目前为止，这门课里的每一个算法——策略梯度、actor-critic、Q-learning、基于模型的规划、 离线 RL——都默认了一件事：有一个固定的奖励函数 $r(s,a)$，我们要把它最大化。 可是现实里几乎没有「一个任务」这种东西。一个家用机器人要会开抽屉、会倒水、会叠衣服； 一个语言模型 agent 要会订机票、会写代码、会查资料。逐个任务从零跑一遍 RL， 既要为每个任务手写一个奖励函数，又要为每个任务重新烧掉几百万步交互，显然不可行。

另一边，监督学习那边已经给出了答案：通才模型（generalist model）。 不再为分割、分类、描述、问答各训一个模型，而是训一个通用的基础模型， 再靠微调（finetuning）或提示（prompting）得到你要的那个模型。 之所以能这样，核心是多任务学习（multi-task learning）：同时在很多任务上训练， 让每个单独任务所需的数据量大幅下降。这一讲就是问：RL 能不能也这么干？

本讲会沿着一条相当清晰的逻辑链走下来。首先我们会发现，多任务 RL 在形式上根本不是新问题—— 把任务上下文 $\omega$ 塞进状态里，多任务 RL 就退化成一个更大的单任务 MDP 上的普通 RL。 但形式上不难不等于实际上不难：任务之间会互相干扰，简单任务学得快、 把策略拽向自己那一侧，反而把困难任务卡在平台期。于是需要课程（curriculum） 和重标注（relabeling）两类对策。重标注在目标条件 RL 里有一个特别漂亮的形式， 就是 HER（hindsight experience replay，后见经验回放）： 一条没有到达指定目标的轨迹，对它实际到达的那个状态而言是成功的， 于是原本极度稀疏的奖励被变密。

接着我们会发现目标条件值函数其实是一个「到达难度」的度量， 满足类似三角不等式的性质，可以拿来做规划；再往前一步就是 继承表示 （successor representation）——一个介于无模型与有模型之间的对象， 它把「未来会去哪些状态」和「那些状态值多少钱」解耦，于是奖励一换就能立刻重算值函数。 连续状态下继承表示退化成分类问题，这就是 C-learning。

后半程转向分层 RL（hierarchical RL）：经典的 options 框架 $\mathbf{o} = (\mathcal{I}_\mathbf{o}, \pi_\mathbf{o}, \beta_\mathbf{o})$ 与半马尔可夫决策过程， 为什么它能压缩有效时间跨度、也为什么端到端学 option 常常把好处抵消掉； 然后是更实用的做法——把 option 直接看成一个多任务策略，高层下发的不是「第几号 option」 而是技能编号 $z$、目标状态 $\mathbf{g}$、甚至一段自然语言 $\ell$。 最后是元强化学习（meta-RL）：把「学习算法本身」当成要学的东西， 黑箱 RNN 做法、梯度型做法，以及一个统一的视角—— 元学习就是在一个把任务身份藏起来的 POMDP 里做推断。

1. 我们为什么想要多任务 RL

动机一：效率——一起学比分开学快

先把最朴素的动机说清楚。假设你有 5 个机器人任务：开烤箱、往烧杯里倒液体、 从桌上收拾瓶子、叠衣服、遛狗。传统做法是跑 5 次独立的 RL，每次从随机初始化开始。 多任务做法是让这 5 个任务共享同一个网络（同一套卷积特征、同一套动力学理解）， 于是「怎么看懂一张桌面图像」「手臂怎么运动不会自己打结」这类知识只需要学一遍。

数量级上感受一下：如果单个任务需要 $N$ 步交互，其中 $\alpha N$ 步是花在学习共享结构上、 $(1-\alpha)N$ 步花在学习任务特有的部分，那么 $K$ 个任务独立学要 $KN$ 步， 理想的多任务学习只要 $\alpha N + K(1-\alpha)N$ 步。当 $\alpha = 0.9$、$K=10$ 时， 这是 $10N$ 对 $1.9N$，五倍多的差距。这就是「通才模型需要的单任务数据少得多」的定量含义。 当然，这是理想情况——第 3 节我们会看到 RL 里的现实往往相反。

动机二：迁移——先验结构让难题变简单

第二个动机更深刻，也更能说明 RL 的痛点。看两个 Atari 游戏：Breakout（打砖块） 对深度 RL 来说基本是解决了的；而 Montezuma's Revenge（蒙特祖玛的复仇）长期是无法攻克的。 两者的观测都是 210×160 的像素，动作空间都是十几个离散动作，为什么差别这么大？

Levine 在这里的论点是：人类之所以能几分钟上手蒙特祖玛，靠的完全不是探索效率高， 而是已经解过成千上万个「先验任务」——见过钥匙、见过梯子、有过被尖锐物体伤害的经验。 所以真正该问的不是「怎么设计一个更好的探索奖励」，而是「先前解决的任务里， 知识到底以什么形式被存了下来，又怎么复用」。

2. 多任务 RL 的形式化：上下文策略与联合 MDP

把任务写进目标函数

先固定记号。普通 RL 的目标是

多任务 RL 引入一个任务上下文（task context） $\omega$， 它服从某个任务分布 $p(\omega)$。策略和奖励都以它为条件：

其中条件轨迹分布为

注意三处细节：（i）转移 $p(s_{t+1}|s_t,a_t)$ 不依赖 $\omega$—— 这是最常见的设定（同一个物理世界，不同的任务目标），但不是必须的； （ii）$\omega$ 在一条轨迹里是固定的，第一步采样一次之后就不变； （iii）奖励 $r_\omega$ 依赖 $\omega$，这才是任务之间真正的区别所在。

上下文 $\omega$ 的形态在实践中差别很大，值得单独列个表，因为它决定了后面能用哪些技巧：

关键洞察：这根本不是一个新问题

现在问一个尖锐的问题：多任务 RL 跟普通 RL 本质上有区别吗？ Levine 的答案就一个字：没有。

落到代码上，改动少到有点好笑：

class ContextualPolicy(nn.Module):
    """多任务策略：只是把 omega 拼进输入而已。"""
    def __init__(self, obs_dim, ctx_dim, act_dim, hidden=256):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(obs_dim + ctx_dim, hidden), nn.ReLU(),
            nn.Linear(hidden, hidden), nn.ReLU(),
            nn.Linear(hidden, 2 * act_dim),          # 高斯策略的 mean 和 log_std
        )
        self.act_dim = act_dim

    def forward(self, obs, ctx):
        x = torch.cat([obs, ctx], dim=-1)            # <-- 全部的改动就在这一行
        mean, log_std = self.net(x).chunk(2, dim=-1)
        return mean, log_std.clamp(-5.0, 2.0)

def rollout(env, policy, ctx_sampler, reward_fn, horizon):
    omega = ctx_sampler()                            # 每条轨迹采一次，之后冻结
    s, traj = env.reset(), []
    for _ in range(horizon):
        mean, log_std = policy(s, omega)
        a = mean + log_std.exp() * torch.randn_like(mean)
        s2, _, done, _ = env.step(a)                 # 环境自带的奖励丢掉不要
        r = reward_fn(s, a, s2, omega)               # 用 r_omega 现算
        traj.append((s, a, r, s2, omega))
        s = s2
        if done: break
    return traj

3. 为什么多任务 RL 反而更难

Ray interference：RL 特有的病

直觉上「一起学更多任务」应该更容易——数据更多、共享结构更多。 监督学习里这个直觉大体成立；但在 RL 里，经常反过来。原因是 RL 有一个监督学习没有的反馈回路： 策略决定数据分布。

机制说细一点。设任务 $A$ 简单、任务 $B$ 困难，共享参数 $\theta$。训练早期：

1. $A$ 的奖励信号强，梯度 $\nabla_\theta J_A$ 幅值大；$B$ 几乎从没成功过，$\nabla_\theta J_B \approx 0$。
2. 于是 $\theta$ 被拽向「专精 $A$」的方向。
3. 专精 $A$ 意味着策略在 $A$ 上变得确定性（熵下降）。而策略是共享的—— 在 $B$ 的状态里，它也倾向于输出 $A$ 里那套动作。
4. 结果：$B$ 的探索被扼杀，$\nabla_\theta J_B$ 继续保持 $\approx 0$。正反馈闭环形成，平台期出现。
5. 只有当 $A$ 完全饱和（梯度归零）之后，$B$ 的微弱信号才有机会主导更新，于是曲线突然跳起。这就是那些阶梯。

注意第 3、4 步在监督学习里是不存在的：监督学习中 $B$ 的标签一直在那儿， 不管策略变成什么样，$\nabla_\theta \mathcal{L}_B$ 都不会消失。 RL 里梯度信号本身依赖于当前策略产生的数据，这才是差别的根源。

对策一：课程（curriculum）

既然简单任务的存在既可能帮忙也可能添乱，就不要让它们随机地互相碰撞，而是安排顺序。 课程学习的思路是：先在简单任务上学到有用的东西（能用的特征、能用的基本动作）， 再逐步把任务分布 $p(\omega)$ 的质量往困难任务上挪。实践中的常见形式包括 按成功率自动调难度（比如始终把任务采样集中在当前成功率约 50% 的那一档）、 从近距离目标逐步扩展到远距离目标、以及从短 horizon 逐步加长。

对策二：重标注（relabeling）——多任务 RL 独有的免费午餐

这是本讲第一个真正的「技术」。观察：一条转移 $(s_i, a_i, s_i')$ 是由物理决定的， 跟你当初想做哪个任务毫无关系。既然奖励是 $r_\omega(s,a)$—— 一个我们自己写的、可以对任意 $\omega$ 求值的函数——那么同一条转移可以被贴上 任意多个上下文标签，每个标签配一个不同的奖励。数据一下子被放大了 $|\Omega|$ 倍。

用公式写清楚：对于回放池里的一条转移 $(s,a,s')$， 无论它当初是在哪个 $\omega_{\text{old}}$ 下采集的，我们都可以构造训练目标

并用 $\|\hat Q_\phi(s,a,\omega_{\text{new}}) - y(\omega_{\text{new}})\|^2$ 做回归。 这一步完全不需要重新与环境交互。

4. 目标条件 RL 与后见重标注（HER）

目标就是一种特殊的上下文

多任务 RL 里最重要的一个特例：让上下文 $\omega$ 就是一个目标状态 $\mathbf{g}$， 即 $\omega = \mathbf{g} \in \mathcal{S}$。任务变成「从当前状态走到 $\mathbf{g}$」， 策略写成 $\pi_\theta(\mathbf{a}|\mathbf{s},\mathbf{g})$，读作 「能到达任意 $\mathbf{g}$ 的策略」。这就是目标条件 RL （goal-conditioned RL）。

为什么这个特例值得单独拿出来讲？因为它把「奖励从哪来」这个 RL 里最脏的工程问题自动化了。 目标条件奖励有几种标准写法：

第一种是「到达即得 1 分」；第二种放宽为 $\varepsilon$-邻域（连续状态下必须这么做， 因为精确相等是零测事件）；第三种是「没到就扣 1 分」，等价于最小化到达步数—— 第 5 节会看到它有极漂亮的几何解释。三种都不需要人写任何任务特定的东西。

HER：失败的轨迹对别的目标是成功的

现在面对稀疏奖励的死结。用 $r = \delta(\|\mathbf{s}-\mathbf{g}\|\le\varepsilon)$， 在训练早期策略基本是随机的，它永远到不了指定的 $\mathbf{g}$， 所以每条轨迹的回报都是 0，$\hat Q$ 的回归目标全是 0，什么都学不到。 这正是蒙特祖玛困境的一个干净版本。

解药是一个几乎有点狡猾的观察：

这就是 HER（hindsight experience replay，后见经验回放）， Andrychowicz 等人 2017 年提出。名字里的 "hindsight" 就是「事后诸葛亮」： 事后回头看，把当初实际到达的状态追认为目标。

完整算法

常见的重标注策略（HER 原文称为 relabeling strategies）：

def her_relabel(batch, traj_index, strategy="future", p_relabel=0.5):
    """对一批转移做 HER 重标注。batch 里每条是 (s, a, s2, g, t, traj_id)。"""
    out = []
    for (s, a, s2, g, t, tid) in batch:
        if random.random() < p_relabel:
            traj = traj_index[tid]                       # 该转移所属的完整轨迹
            if strategy == "final":
                g_new = traj[-1].s2
            elif strategy == "future":
                k = random.randint(t, len(traj) - 1)     # 只从「未来」采，保证可达
                g_new = traj[k].s2
            else:
                raise ValueError(strategy)
        else:
            g_new = g                                    # 保留原始指令目标
        r_new = float(np.linalg.norm(s2 - g_new) <= EPS) # 奖励现算，不查表
        done  = r_new > 0.5                              # 到达即终止
        out.append((s, a, s2, g_new, r_new, done))
    return out

三个实现要点：（1）奖励是现场算的而不是从回放池读的—— 这是重标注能成立的根本前提，你必须有一个可对任意 $(\mathbf{s},\mathbf{g})$ 求值的 $r$； （2）future 只从 $t$ 之后采样，因为「未来到过的状态」才是可达的， 从 $t$ 之前采会教出错误的可达性；（3）重标注后 done 也要跟着改， 否则 bootstrap 会把「已经到达」的状态继续往后回溯，值函数会被高估。

5. 一点几何：目标条件值函数就是一个距离

取那个「没到就扣 1 分」的奖励 $r(\mathbf{s},\mathbf{a},\mathbf{g}) = -\delta(\mathbf{s}\neq\mathbf{g})$， 令 $\gamma = 1$，并规定 episode 在 $\mathbf{s}=\mathbf{g}$ 时结束。 写出这个设定下的贝尔曼方程：

两个 $\delta(\mathbf{s}\neq\mathbf{g})$ 的角色不同：第一个是即时奖励； 第二个是「只有还没到达才继续 bootstrap」，也就是终止条件。分情况展开：

这个递推式的含义一眼可见：$-V(\mathbf{s},\mathbf{g})$ 就是从 $\mathbf{s}$ 出发 到达 $\mathbf{g}$ 所需的期望步数。每走一步扣 1，到了就停。

两个直接的用途：

• 规划：想从 $\mathbf{s}$ 到很远的 $\mathbf{g}$，而目标条件策略只在近距离上可靠。 那就在中间搜一串子目标 $\mathbf{w}_1,\dots,\mathbf{w}_K$，最大化 $\sum_k V(\mathbf{w}_{k-1}, \mathbf{w}_k)$（令 $\mathbf{w}_0=\mathbf{s}$、$\mathbf{w}_{K+1}=\mathbf{g}$）， 再让低层策略逐段执行。这正是 Nasiriany 等人的做法，也直接通向第 10 节的分层 RL： 所谓「高层下发目标」就是在做这个搜索，只不过用 RL 学出来而不是在线搜。
• 辅助损失：把三角不等式当成一个可微的约束项加进 critic 的损失里， $\mathcal{L}_{\text{tri}} = \E_{\mathbf{s},\mathbf{w},\mathbf{g}}\big[\max\big(0,\; V(\mathbf{s},\mathbf{w}) + V(\mathbf{w},\mathbf{g}) - V(\mathbf{s},\mathbf{g})\big)^2\big]$， 可以在没有额外数据的情况下把值函数正则化到一致。

6. 继承表示：介于无模型与有模型之间

第 5 节末尾那句「$V(\mathbf{s},\mathbf{g})$ 告诉我们到达各个状态有多容易」值得追问一句： 如果一个函数能告诉你「从这里出发未来会去到哪些状态」，那它是不是某种模型？

模型到底需要预测什么？

Levine 用一个非常漂亮的推导切入。回到 RL 的基本循环：采样 → 拟合模型估计回报 → 改进策略。 问：为了「评估一个策略」，模型最少需要预测什么？ （能评估就能改进——这是策略迭代的全部内容。）

从策略的目标出发，$J(\pi) = \E_{s\sim p(s_1)}[V^\pi(s_1)]$，而

（这里为了简洁只写状态相关的奖励 $r(s)$；动作相关的 $r(s,a)$ 完全同理，只是多带一个 $a$。） 接下来是关键的一步——把求和顺序换掉：

括号里的东西就是全部的答案。给它归一化一下（乘 $1-\gamma$，让它成为一个概率分布）， 定义未来状态占用分布（future state occupancy）：

继承表示的定义与贝尔曼方程

把它写成向量形式：设状态空间有 $N$ 个状态，定义 $\mu^\pi(s_t) \in \mathbb{R}^N$， 第 $i$ 个分量是 $\mu_i^\pi(s_t) = p_\pi(\mathbf{s}_{\text{future}} = i\,|\,s_t)$。 于是值函数变成一个内积：

$\mu^\pi$ 就是 Dayan 1993 年提出的继承表示（successor representation, SR）。

那 $\mu^\pi$ 怎么学？好消息是它满足一个贝尔曼方程。把定义里的求和拆出第一项：

把 $\delta(s_t=i)$ 理解成「第 $i$ 个 one-hot 奖励」，那么学 $\mu^\pi$ 就等于同时解 $N$ 个 RL 问题， 每个的奖励是一个 one-hot 向量。这就是为什么第一个问题很尖锐：如果 $N$ 很大， 这比解一个 RL 问题贵得多。第 7 节的继承特征就是为了解决它。

7. 继承特征：把 SR 压到低维，用于迁移

SR 的致命伤是维度：$\mu^\pi(s) \in \mathbb{R}^{|\mathcal{S}|}$。 解法很自然——既然值函数只需要 $\mu^{T}\vec r$ 这一个内积， 而奖励通常在一个低维特征空间里就能表达，那就在特征空间里做 SR。

设有 $D$ 个特征函数 $\phi_j: \mathcal{S}\to\mathbb{R}$，$j=1,\dots,D$，$D \ll |\mathcal{S}|$。 定义继承特征（successor features, SF）：

即「未来会遇到的特征值的（折扣）期望」。它同样满足贝尔曼方程， 而且这次是直接对 $\psi$ 做备份，完全不需要经过 $\mu$：

用法一：快速恢复一个 Q 函数

为什么只是一步策略迭代？因为 $\psi^\pi$ 是关于策略 $\pi$ 的占用度量。 换了新奖励 $\mathbf{w}$ 后算出的 $Q^\pi(\cdot,\cdot)^{}$ 是「继续用旧策略 $\pi$ 能拿多少新奖励」， 对它取 argmax 得到的 $\pi'$ 确实满足 $V^{\pi'} \ge V^\pi$（策略提升定理）， 但 $\pi'$ 的占用度量已经变了，$\psi^\pi$ 不再适用，要继续提升就得重新学 $\psi^{\pi'}$。 所以你只免费拿到一次提升。这是继承特征最重要的局限，务必记住。

用法二：一次恢复很多 Q 函数（GPI）

GPI 的保证是：新策略 $\pi'$ 满足 $V^{\pi'}(\mathbf{s}) \ge \max_k V^{\pi_k}(\mathbf{s})$ 对所有 $\mathbf{s}$ 成立。 直觉是：在每个状态你都从 $K$ 个候选里挑了当下最好的那个的建议， 所以你至少不比任何一个候选差。$K$ 越大、策略库越多样，这个下界越强。 这也把继承特征变成了一种技能库：预训一批策略 + 它们的 $\psi$， 新任务来了只需拟合一个 $D$ 维向量 $\mathbf{w}$（可能只要几十个奖励样本）， 就能零样本组合出一个不错的策略。

8. 连续状态下的继承表示：C-Learning

回到第 6 节遗留的第三个问题。SR 的贝尔曼方程里有 $(1-\gamma)\delta(s_t=i)$ 这一项， 在连续状态空间里，任何采样出来的状态与任何指定的 $i$ 精确相等的概率是 0， 所以这一项恒为零，整个备份退化成 $\mu \leftarrow \gamma\E[\mu]$，收敛到全零。SR 直接失效。

思路是用判别代替生成：不去直接估计密度 $p^\pi(\mathbf{s}_{\text{future}}|\mathbf{s}_t,\mathbf{a}_t)$， 而是训练一个分类器去区分「真未来」和「随机状态」。假设正负样本各占一半， 贝叶斯最优分类器为

第 2 步那个几何分布是关键的实现细节，值得展开：我们想采 $p_\pi(\mathbf{s}_{\text{future}}=\mathbf{s}|s_t) = (1-\gamma)\sum_{t'\ge t}\gamma^{t'-t}p(s_{t'}=\mathbf{s}|s_t)$， 这正好是「先从几何分布 $\Delta\sim\mathrm{Geom}(\gamma)$ 采一个时间间隔， 再取轨迹上 $t+\Delta$ 时刻的状态」的边缘分布。$\Pr[\Delta=k] = (1-\gamma)\gamma^{k}$， 期望间隔 $\gamma/(1-\gamma)$——$\gamma=0.99$ 时约 99 步。所以 numpy 里就是 delta = np.random.geometric(1 - gamma) - 1。

def c_learning_step(classifier, opt, traj_batch, gamma, all_states):
    """C-Learning 的一步：正样本来自几何分布采的未来状态，负样本来自边缘分布。"""
    s, a, s_pos, s_neg = [], [], [], []
    for traj in traj_batch:
        t = random.randrange(len(traj))
        delta = np.random.geometric(1.0 - gamma) - 1        # Geom(gamma)，从 0 开始
        t_future = min(t + delta, len(traj) - 1)
        s.append(traj[t].s); a.append(traj[t].a)
        s_pos.append(traj[t_future].s)                      # F = 1
        s_neg.append(all_states[random.randrange(len(all_states))])   # F = 0

    s, a = torch.as_tensor(s), torch.as_tensor(a)
    logit_pos = classifier(s, a, torch.as_tensor(s_pos))    # 输出 logit，不过 sigmoid
    logit_neg = classifier(s, a, torch.as_tensor(s_neg))
    loss = (F.binary_cross_entropy_with_logits(logit_pos, torch.ones_like(logit_pos))
          + F.binary_cross_entropy_with_logits(logit_neg, torch.zeros_like(logit_neg)))
    opt.zero_grad(); loss.backward(); opt.step()
    return loss.item()

def goal_conditioned_q(classifier, s, a, g):
    """分类器的 logit 就是 log-odds，等于 log p(g|s,a) + const —— 直接当 Q 用。"""
    return classifier(s, a, g)      # argmax_a 时那个 const 会被约掉

9. 分层 RL（一）：options 与半马尔可夫决策过程

option 的定义

换一个角度看多任务。人类做复杂任务时不是一步一步想「肌肉该收缩多少」， 而是在「泡咖啡」「走到厨房」这种层次上思考。 把这种「时间上被抽象的动作」形式化，就是 Sutton、Precup、Singh 1999 年的 options 框架。一个 option 是一个三元组：

• $\mathcal{I}_\mathbf{o} \subseteq \mathcal{S}$ 是启动集（initiation set）： 只有当 $s \in \mathcal{I}_\mathbf{o}$ 时这个 option 才能被调用。 （比如「开门」这个 option 只有在门前才有意义。）
• $\pi_\mathbf{o}(a|s)$ 是 option 策略：就是一个普通的策略，负责在 option 激活期间选原子动作。
• $\beta_\mathbf{o}(s) \in [0,1]$ 是终止条件（termination）： 在状态 $s$ 处以概率 $\beta_\mathbf{o}(s)$ 结束这个 option，把控制权交还给高层。

为什么这是个好主意

把这两点量化一下，就能明白分层为什么诱人：

第三行尤其触目惊心：$|\mathcal{A}|=4$、$d=100$ 时，扁平随机探索命中概率是 $4^{-100}\approx 10^{-60}$； 若有 $|\mathcal{O}|=4$ 个各能走 $h=10$ 步的 option，概率变成 $4^{-10}\approx 10^{-6}$。 这是 54 个数量级的差距。蒙特祖玛之所以难，正是因为它需要 $d$ 很大的定向探索。

为什么这是个坏主意

Option-critic 给出了端到端学 option 的完整梯度。定义 option 内策略 $\pi_{\omega,\theta}(a|s)$、 终止函数 $\beta_{\omega,\vartheta}(s)$、以及 option 层的 $Q_\Omega(s,\omega)$。 引入两个辅助量：

$U$ 的含义是「刚到 $s'$、当前 option 还是 $\omega$ 时的价值」—— 以概率 $1-\beta$ 继续用 $\omega$，以概率 $\beta$ 终止并由高层重选。于是两条梯度：

10. 分层 RL（二）：把 option 当成多任务策略

丢掉 $\mathcal{I}$ 和 $\beta$，只留策略

Levine 在这里做了一个非常实用主义的简化。既然 $\mathcal{I}_\mathbf{o}$ 和 $\beta_\mathbf{o}$ 又难学又容易退化， 那就把它们扔掉：启动集设为全空间（任何 option 在任何状态都能启动）， 终止条件设为固定周期（每 $k$ 步换一次）。剩下的 $\pi_\mathbf{o}(a|s)$ 是什么？ 如果把 option 的编号写成一个变量，它就是

这个视角非常有力：它把分层 RL 直接还原成了本讲前半部分的多任务 RL。 低层是一个上下文策略，上下文 $\mathbf{z}$ 由高层下发；高层是一个动作空间为 $\mathcal{Z}$ 的普通 RL 问题，只不过它的「一步」等于环境里的 $k$ 步。前面所有多任务技巧 （重标注、目标条件、HER）立刻可以用在低层上。

目标下发型分层：HIRO / feudal

这一族方法有两个经典成员，值得对比：

语言作为分层接口

为什么语言是特别好的分层接口？三个原因： （1）它是组合式的，天然能表达「先 A 再 B」这类结构； （2）互联网上有海量的「语言—行为」配对数据，低层策略可以从中预训练， 不需要从零做技能发现；（3）它可解释——你能直接读出高层在想什么， 这在调试分层系统时价值巨大（HIRO 里的 $\mathbf{g}$ 至少还能画出来， DIAYN 里的 $\mathbf{z}$ 就是一串没有语义的数字）。 代价是 $\ell$ 的动作空间是离散且组合爆炸的，高层 RL 本身就变成了一个 LLM 训练问题。

11. 元学习与元强化学习

本讲最后一块拼图。前面讲的迁移都是「把知识从旧任务搬到新任务」， 但搬运的方式是我们人工规定的（共享参数、共享特征、共享技能）。 元学习（meta-learning）问一个更激进的问题： 能不能把「怎么快速学一个新任务」这件事本身学出来？

先看监督学习版本

把两者的目标函数并排写出来，差别一目了然：

读法：普通学习产出一组参数 $\theta^\star$；元学习产出一个函数 $f_\theta$， 这个函数吃进一个任务的训练集、吐出该任务专用的参数 $\phi_i$。 外层优化的是「$f_\theta$ 产出的 $\phi_i$ 在没见过的测试集上表现好不好」。 换句话说，$\theta$ 编码的是学习算法，$\phi_i$ 才是被学到的东西。

元 RL 的问题定义

元 RL 与多任务 RL 的关系

做法一：黑箱元 RL（RNN 策略）

既然 $\phi_i = f_\theta(\mathcal{M}_i)$ 要从交互经验里推断，最直接的实现就是让 RNN 来读经验。

为什么 RNN 策略会自己学会探索

做法二：梯度型元 RL（MAML 风格）

黑箱做法把 $f_\theta$ 完全交给神经网络。另一条路是规定 $f_\theta$ 就是「做几步梯度上升」， 只把初始参数 $\theta$ 元学习出来。这就是 MAML（model-agnostic meta-learning）的思路， 在 RL 里写成：

其中 $J_{\mathcal{M}_i}(\theta) = \E_{\tau\sim\pi_\theta}[R(\tau)]$ 用任务 $i$ 上采的一批轨迹估计。 展开外层梯度会出现二阶项：

三点评价：（1）它的归纳偏置很强——保证了「只要梯度上升能解这个任务， 元学到的初始化就能在几步内解它」，外推性通常比 RNN 好； （2）代价是需要二阶导，实现麻烦、方差大， 而且 RL 的策略梯度本身就带高方差，二阶估计更糟（常用一阶近似 FOMAML 绕过）； （3）在元 RL 里它的探索能力较弱：内层的一步梯度用的是 $\pi_\theta$ 采的数据， 而 $\pi_\theta$ 没有被显式激励去做信息收集，容易只学到「一个中庸的初始策略」。

统一视角：元 RL 就是 POMDP 推断

最后 Levine 给出一个把所有做法统一起来的视角。先复习 POMDP：

这个视角的威力在于它解释了前面所有做法为什么是同一件事：

本讲小结

一页速查表

要点清单

• 多任务 RL 不是新问题：把上下文塞进状态就变回单任务 RL。所以不要去找新的理论， 要去找优化技巧。
• RL 的多任务比监督学习的多任务难，根源是数据分布由策略决定—— 这条因果链贯穿整门课（探索、离线 RL 的分布偏移、模仿学习的复合误差都是它的变体）。
• 重标注是本讲最实用的一招，也是最容易被低估的一招。 只要你的奖励函数是可对任意上下文求值的解析函数，你就在浪费 $|\Omega|$ 倍的数据。
• 目标条件值函数 → 距离 → 三角不等式 → 子目标规划 → 分层 RL，这条链是本讲的骨架： 「高层下发目标、低层执行」不是拍脑袋的架构，而是目标条件值函数几何性质的直接推论。
• 继承表示是「值函数分解成 动力学 × 奖励」的唯一干净方式。理解 $V^\pi = \mu^{\pi T}\vec r$ 之后再回头看基于模型 RL 和无模型 RL 的分野，会清楚很多。
• 分层的好处（有效跨度 $T\to T/k$、探索以技能为单位）是真的， 但只有当低层是预先训好并冻结或缓慢变化时才拿得到。端到端一起训基本上等于放弃这些好处。
• 元 RL 最重要的一句话：探索不是外挂，是最大化 meta-episode 回报的最优解。 只要隐状态跨 episode 保留、目标函数覆盖整段 meta-episode，探索行为会自己长出来。
• 元学习 = 在把任务身份藏起来的 POMDP 里做推断。这句话把 in-context learning、 MAML、PEARL 全部纳入同一个框架，也解释了为什么今天的 LLM agent 会「在上下文里学会新任务」。

延伸阅读

多任务与目标条件 RL

• Hindsight Experience Replay (Andrychowicz et al., 2017) — HER 原论文。读它的 relabeling strategy 消融实验，能直观看到 future 为什么最好。
• Universal Value Function Approximators (Schaul et al., ICML 2015) — 第一次系统地把 $V(s,g)$ 当成一个可泛化的函数逼近器来训，目标条件 RL 的奠基工作。
• Learning to Achieve Goals (Kaelbling, 1993) — 课上提到的最早期工作，三角不等式作为辅助损失的想法就出自这里。
• C-Learning: Learning to Achieve Goals via Recursive Classification (Eysenbach et al., 2020) — 把连续状态下的继承表示写成递归分类，是第 8 节的完整版（含 off-policy 推导）。
• Learning to Reach Goals via Iterated Supervised Learning (Ghosh et al., 2019) — GCSL：把 HER 推到极致，完全丢掉值函数，只用「重标注 + 行为克隆」迭代，简单得惊人。
• Ray Interference: a Source of Plateaus in Deep RL (Schaul et al., 2019) — 第 3 节那张学习曲线图的出处，给出了任务干扰的最小化数学模型。
• Gradient Surgery for Multi-Task Learning (Yu et al., 2020) — PCGrad：当两个任务的梯度夹角为钝角时，把冲突分量投影掉。对付任务干扰的直接手术方案。
• Meta-World (Yu et al., 2019) — 50 个机械臂任务的标准基准，多任务 RL 与元 RL 论文几乎都在上面报结果。

继承表示与继承特征

• Improving Generalisation for Temporal Difference Learning: The Successor Representation (Dayan, 1993) — 原始论文，只有十几页，推导比现代复述干净得多，强烈建议读原文。
• Successor Features for Transfer in Reinforcement Learning (Barreto et al., 2016) — 第 7 节两个「用法」的出处，含 GPI 的完整定理与界。
• Planning with Goal-Conditioned Policies (Nasiriany et al., 2019) — 用目标条件值函数在潜空间里搜子目标序列，把第 5 节的三角不等式变成一个真的规划器。

分层强化学习

• Between MDPs and semi-MDPs: A Framework for Temporal Abstraction in Reinforcement Learning (Sutton, Precup & Singh, 1999) — options 框架的原始论文，SMDP 备份的收敛性证明在这里。
• The Option-Critic Architecture (Bacon et al., 2016) — 端到端学 option 的完整梯度推导；也建议顺便看它后续关于 $\beta\to1$ 退化和 deliberation cost 的讨论。
• FeUdal Networks for Hierarchical Reinforcement Learning (Vezhnevets et al., 2017) — manager 输出潜空间方向、worker 用余弦相似度作为内在奖励，是「目标下发型」分层的经典形态。
• Data-Efficient Hierarchical Reinforcement Learning (Nachum et al., 2018) — HIRO：第 10 节的主角，off-policy 目标重标注是对付分层非平稳性最实用的技巧。
• Diversity is All You Need (Eysenbach et al., 2018) — 上一讲的无监督技能发现，正是第 10 节里训练低层 $\pi_{\text{lo}}(a|s,z)$ 的标准做法。
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL (Zhou et al., 2024) — 把「一句话 = 一个高层动作、一个 token = 一个低层动作」写成分层 RL，是 LLM agent 时代的分层实践。

元学习与元 RL

• RL$^2$: Fast Reinforcement Learning via Slow Reinforcement Learning (Duan et al., 2016) — 黑箱 RNN 元 RL 的代表作，第 11 节那套「隐状态跨 episode 不重置」就是它。
• Learning to Reinforcement Learn (Wang et al., 2016) — 与 RL$^2$ 同期的独立工作，还讨论了它与前额叶皮层的神经科学对应。
• Model-Agnostic Meta-Learning (Finn et al., 2017) — MAML 原论文，第 11 节梯度型元学习的目标函数出自这里。
• PEARL: Efficient Off-Policy Meta-RL via Probabilistic Context Variables (Rakelly et al., 2019) — 显式学后验 $q(z|\text{context})$ + 后验采样探索，是「POMDP 推断视角」最干净的落地。
• VariBAD: A Very Good Method for Bayes-Adaptive Deep RL via Meta-Learning (Zintgraf et al., 2019) — 把元 RL 明确写成 Bayes-adaptive MDP（BAMDP），并用变分推断近似 belief，理论上最完整的一篇。