附录 A · 术语与定义

0. 这一页怎么用

这是全书唯一一页不需要按顺序读的内容。它的设计目标只有一个：当你在第 6 章看到 $\hat A_t^{\mathrm{GAE}(\gamma,\lambda)}$、在第 8 章看到 $\beta\log\frac{\pi_\theta}{\pi_{\text{ref}}}$、在第 15 章看到 $k_3$ 时，能在三十秒内查到「这个符号是什么、量纲是什么、在哪一章被定义」，然后跳回去继续读。

它做了三件正文里做不了的事。一，把符号按「概念族」而不是按章节重排——四张表分别覆盖语言模型与文本、强化学习基础、概率与信息论、RLHF 专有，正好对应你读一篇后训练论文所需的四类背景。二，给出量纲和张量形状；论文从不写「$r$ 是标量、$A_t$ 是长为 $|y|$ 的向量、$\rho_t$ 是逐 token 的比值」，而这恰恰是把公式翻成代码时唯一会出错的地方。三，把三个最容易读错的概念单独展开：优势函数（第 4 节）、KL 的三种估计器（第 6 节）、on-policy 与 off-policy（第 8 节）。

1. 语言模型速览：本书的建模对象

全书所有算法都作用在同一类对象上：一个自回归语言模型。所谓自回归（autoregressive），意思只有一句话——每一步的预测都只依赖它前面的东西。给定一串 token $x=(x_1,\dots,x_T)$，模型把整串的联合概率拆成条件概率的连乘：

训练目标是让训练数据在当前模型下的似然最大，等价于最小化负对数似然（negative log-likelihood, NLL）：

实现上这就是逐位置的交叉熵损失：把该位置预测出的整个词表分布，和「真实的下一个 token」这个 one-hot 标签比较。因为标签是 one-hot，词表上的求和塌缩成一项，交叉熵就退化成 $-\log P_\theta(x_t\mid x_{<t})$ 本身。「预测下一个 token」就是监督学习，标签只不过是序列里的下一个字。

从隐状态到 token：LM head、logits、softmax

现代语言模型（ChatGPT、Claude、Gemini）几乎全部是 decoder-only Transformer，核心机制是自注意力（self-attention）：每个位置只能注意到自己和它之前的位置，这个「因果掩码」正是自回归性质的物理实现。Transformer 主干对每个 token 输出一个隐状态（hidden state）向量，然后：

• LM head：一个线性投影，把隐藏维度映射回词表维度（tokenizer 空间），输出 logits——词表上每个 token 一个未归一化的分数。
• softmax：把 logits 归一化成下一个 token 的概率分布，$P_\theta(x_t\mid x_{<t}) = \softmax(z^{(t)})_{x_t}$。
• 采样 / argmax：从这个分布里取出实际生成的 token。

「同一个主干、换一个 head」是本书反复出现的模式。第 5 章训奖励模型时，做法就是把 LM head 换成一个输出单个标量的线性头；PPO 的价值模型是同样的套路。换 head、换目标，主干不动——这是理解奖励模型架构最省事的一句话。

一条训练样本的张量解剖

后训练代码里最常见的静默 bug 都出在下标错位上。把整条路径按形状写一遍，以后看任何实现都能对上号（$B$ = batch，$L$ = 序列长度，$V$ = 词表大小）：

input_ids                         # (B, L)      token ID，prompt + completion 拼在一起
  -> model(input_ids).logits      # (B, L, V)   每个位置一个词表打分向量
  -> logits[:, :-1, :]            # (B, L-1, V) 丢掉最后一位：它没有"下一个 token"可预测
  -> labels = input_ids[:, 1:]    # (B, L-1)    错一位：位置 t 的 logits 预测 token t+1
  -> log_softmax + gather         # (B, L-1)    读出每个"真实下一个 token"的 log 概率
  -> (* completion_mask).sum(-1)  # (B,)        每条序列一个 log pi(y|x)

那个「错一位」就是自回归本身。 而最后一步乘的 completion_mask 是后训练区别于预训练的地方：预训练每个 token 都进 loss，SFT 之后只有回复部分的 token 进 loss，prompt 只负责做条件。

2. 符号表 · 语言模型与文本

这一组是「输入输出」层面的符号：文本、token、张量维度。它们在第 3 章被统一定下来，之后十四章不变。

3. 符号表 · 强化学习基础

强化学习的标准问题形式是马尔可夫决策过程（Markov Decision Process, MDP），一个五元组 $(\mathcal{S},\mathcal{A},P,r,\gamma)$。下表左半边是通用 RL 定义，右半边是它在语言模型里退化成什么——「退化成什么」这一列比定义本身更重要，因为 RLHF 的算法设计几乎全部由这些退化决定。

4. 展开：优势函数，以及「减基线」这件事

优势函数是全书出现频率最高、也最容易被当成黑盒的量。它的定义只有一行：

读作：「在状态 $s$ 做动作 $a$，比『按 $\pi$ 的平均水平随便做点什么』好多少」。注意它是一个相对量，量纲和奖励一样，但零点被移到了「当前策略的平均表现」上。

为什么不能直接用奖励

策略梯度的形式是 $\E[\nabla_\theta\log\pi_\theta(a\mid s)\cdot(\text{某个标量})]$。若那个标量直接取奖励 $r$，会出问题：假设某环境每步固定给 $+100$ 分，所有动作的乘子都是大正数，梯度会把所有动作的概率都往上推。但概率必须归一化，推不上去的部分互相抵消，剩下的全是噪声——信号被一个巨大的公共偏移淹没了。

减去一个只依赖状态、不依赖动作的基线（baseline）$b(s)$ 之后，乘子变成「比平均好还是比平均差」，方差大幅下降。而且这个减法是免费的——它不引入偏差：

关键在于 $b(s)$ 与 $a$ 无关，可提到求和号外，而概率对所有动作求和恒为 1，梯度为 0。任何不依赖动作的基线都不改变梯度的期望，只改变方差。 方差最小的那个基线大致就是 $V^\pi(s)$，于是「奖励减基线」自然长成了优势函数。

四种在 RLHF 里真实使用的优势估计

一个尺寸提醒

优势在代码里有两种形状：序列级 $(B,)$，每条回复一个数（GRPO/RLOO 的原生形态，用时要广播到每个 token）；token 级 $(B,L)$，每个 token 一个数（GAE 的原生形态）。广播之后，一条 500 token 的回复会贡献 500 份相同的梯度，一条 50 token 的只贡献 50 份。损失怎么归一化（按 token 数、按序列数、还是按固定常数）因此会直接改变长度偏好——第 6 章第 9 节专门讲了这三种聚合方式，这是 2025 年 RL 实现里争论最多的细节之一。

5. 符号表 · 概率与信息论

这一组符号数量最少，但被引用得最频繁。KL 散度是对齐领域的中心对象：RLHF 的惩罚项是它、DPO 的推导起点是它、SFT 和 RL 的行为差异也要用它的方向来解释。

一个恒等式，把三个量串起来

「用错误分布 $q$ 编码来自 $p$ 的样本」的总代价 = 不可压缩的固有代价 $H(p)$ + 用错分布多付的额外代价 KL。两个推论直接解释了本书两处关键设计：

• 最小化交叉熵就是最小化到真实分布的 KL，因为 $H(p)$ 由数据决定、与参数无关。语言模型训练时标签是 one-hot，$H(p)=0$，于是交叉熵 = KL = NLL 三者完全相等。
• RLHF 里的 KL 则是被主动加上去的：不是为了拟合谁，而是为了把策略拴在参考模型附近。同一个数学对象，一个是目标，一个是约束。

重要性采样：为什么可以用旧数据算新梯度

策略梯度要求 $\E_{y\sim\pi_\theta}[\cdot]$——期望对当前策略取。但每更新一次参数就重新采样一遍太贵了，于是有了重要性采样（importance sampling）这个恒等式：

只要 $q$ 在 $p$ 的支撑集上处处非零，就可以用 $q$ 采的样本估计 $p$ 下的期望，代价是每个样本要乘一个修正权重 $p/q$。PPO 就是这么做的：用 $\pi_{\theta_{\text{old}}}$ 采一批 rollout，然后做好几步梯度更新，每步都用 $\rho_t=\pi_\theta/\pi_{\theta_{\text{old}}}$ 修正。

6. 展开：KL 的三种估计器 $k_1$、$k_2$、$k_3$

KL 的定义要对整个词表空间的所有序列求和，显然算不了。但 KL 本身是一个期望，凡是期望都可以用蒙特卡洛采样近似：

被求平均的东西，就是你手上已经有的每条 rollout 上的 log 概率比——不需要额外采样，这也正是 RLHF 标准写法用 $\mathcal{D}_{\text{KL}}(\pi_\theta\|\pi_{\text{ref}})$ 而不是反过来的工程原因（期望对 $\pi_\theta$ 取，而 rollout 恰好来自 $\pi_\theta$）。

令 $\rho = \pi_{\text{ref}}/\pi_\theta$（注意：参考模型在分子上），三种估计器是：

为什么 $k_1$ 不够用

$k_1$ 按定义就是无偏的：$\E_{\pi_\theta}[-\log\rho]=\E[\log\frac{\pi_\theta}{\pi_{\text{ref}}}]=\mathcal{D}_{\text{KL}}$，一行推完。问题在于单个样本可以是负数——某个 token 上策略恰好比参考模型更不自信，$\log\rho$ 就是正的，$k_1$ 就是负的。一个数学上恒非负的量，它的估计值却在 0 附近来回穿越，意味着优化器有时会因为「离参考模型更远」而获得奖励。这在梯度上是纯噪声，训练曲线上表现为 KL 在 0 附近剧烈震荡。

# 改写自 _src/code/policy_gradients/loss.py
def approx_kl(logp, logp_ref, mask, estimator="k3"):
    """logp, logp_ref, mask: (B, L) —— 逐 token 的 log 概率与 completion mask"""
    log_rho = logp_ref - logp                    # = log(pi_ref / pi_theta)
    if estimator == "k1":                        # 无偏，高方差，可为负
        kl = -log_rho
    elif estimator == "k2":                      # 有偏，低方差，恒 >= 0
        kl = 0.5 * log_rho.pow(2)
    elif estimator == "k3":                      # 无偏 + 恒 >= 0（默认）
        kl = log_rho.exp() - 1 - log_rho
    else:
        raise ValueError(estimator)
    return (kl * mask).sum(-1)                   # (B,) —— 每条序列一个 KL

KL 项还有第二个自由度：加在奖励里（$\tilde r = r-\beta k_3$）还是加在损失里（$\mathcal{L}=\mathcal{L}_{\text{PG}}+\beta k_3$）。前者要经过优势估计、白化等一系列处理，效果被稀释；后者直接、可控。第 15 章把两条路径的梯度都展开算了一遍，结论是现代实现基本都选后者。

7. 符号表 · RLHF 专有

这一组是本书真正的主场：它们在通用 RL 或 NLP 文献里都不存在，是 RLHF 为了「用人类偏好训模型」发明出来的。

三类模型，一张对照表

跑一次完整的 PPO 式 RLHF，显存里同时住着四份模型权重。这是理解 RLHF 工程成本最直接的一张表：

8. 展开：on-policy 与 off-policy 的两套用法

这对词是全书最容易被误读的术语，原因很简单：RL 圈和偏好微调圈在用同一个词说不同的事，而且两边都不觉得自己需要说明。

严格 RL 意义

在 RL 文献里，on-policy 意味着数据恰好由当前这一版智能体产生。参数一更新，之前采的数据就不再是 on-policy 的了。按这个标准：REINFORCE 采一批、走一步梯度、丢掉数据——严格 on-policy；PPO 采一批走 $1$–$4$ 步梯度，第一步之后就不是了，所以它需要重要性采样比 $\rho_t$ 修正、需要 clip 限制修正幅度，常被叫做 near-on-policy；用几周前某个检查点采的数据训现在的模型——彻底 off-policy。

偏好微调意义

在偏好微调（尤其是「DPO 到底比 PPO 差在哪」这场辩论）里，on-policy 被放宽成：数据是不是由「这一版模型」生成的——比如做偏好微调之前的那个指令微调检查点。此语境下 off-policy 指的是由别的语言模型生成的数据，比如你从 HuggingFace 下载的、用 GPT-4 和 Llama-2 生成的偏好数据集。

为什么这个区分值钱

因为它是「在线 RL vs 直接对齐算法」这场争论的真正焦点。表面上的问题是「PPO/GRPO 比 DPO 好吗」，但把两者的差异拆开会发现：DPO 用固定数据集，样本一次采好、之后策略怎么变都不再重采；在线 RL 每一轮都从当前策略重新采样，因此能持续获得「我现在最可能犯的错」的反馈。

与之相关的一组词

9. 术语速查：不带数学符号的那一半

后训练领域一半的沟通成本花在术语上，而且很多词是被重载过的——同一个词在不同论文里指不同的东西。下面按主题分组。

训练阶段

数据与合成

奖励与评估

行为与产品

10. 记号陷阱与跨文献对照

本书的符号是统一过的，但你读的论文不会。下面这张表用来做翻译：左边是本书的写法，右边是你在原始论文里可能遇到的写法。

把公式翻译成代码时的三个检查点

一、这个量是序列级 $(B,)$ 还是 token 级 $(B,L)$？ 奖励是序列级，log-prob 是 token 级，优势两者都可能——不匹配处的广播就是长度偏置的来源。二、要不要乘 completion mask？ 凡是在 token 维度上求和的量（log-prob、KL、熵、逐 token 损失）一律要；忘了不会报错，只会让 prompt 部分主导数值。三、这份前向要不要梯度？ $\pi_{\text{ref}}$、$r_\phi$、$\pi_{\theta_{\text{old}}}$ 都要包在 torch.no_grad() 里，否则显存莫名翻倍；$\pi_{\theta_{\text{old}}}$ 尤其容易忘——它在重要性采样比的分母上，必须 detach()。

本章小结

这一页不需要被「读完」，但下面这张一页速查值得单独收藏。

整本书的一个式子

读法：「在 prompt 数据集上，从当前模型采样回复，让某个标量评分尽可能高，同时不要离起点太远。」 PPO、GRPO、DPO、拒绝采样都是这个式子的不同求解方式。

符号速查卡

要点清单

• 语言模型的一切都是 log-prob。 自回归分解 → 交叉熵 = KL = NLL；数值稳定性与可导性决定了代码里流动的永远是对数概率。
• MDP 映射的三处退化决定了算法设计： 转移确定 → 序列概率可精确计算（KL、IS 比、DPO 的共同前提）；奖励只在末尾 → 值函数信息量低（GRPO 可以丢掉价值模型）；$\gamma=1$ → 打折等于人为惩罚靠后的 token。
• 优势 = 奖励减基线，减去任何与动作无关的基线都不引入偏差、只降方差。RLOO/GRPO 把基线从「学出来的价值模型」换成了「同一 prompt 下其它样本的均值」。
• KL 一律用 $k_3=(\rho-1)-\log\rho$ 估计（$\rho=\pi_{\text{ref}}/\pi_\theta$）：既无偏又逐 token 非负，方差比 $k_1$ 低一个数量级，是几乎没有代价的免费午餐。
• on-policy 有两套定义，RL 圈严格、偏好微调圈宽泛。真正的分水岭是数据是不是由当前模型产生的，而不是损失函数长什么样。
• 写代码时永远问三句：序列级还是 token 级？要不要乘 completion mask？这份前向要不要梯度？外加一句断言——step 0 的 KL 必须精确为 0。

延伸阅读

补基础

• Sutton & Barto, Reinforcement Learning: An Introduction (2018) — RL 的标准教材。读第 3 章（MDP）和第 13 章（策略梯度）就足以支撑本书全部内容，其余可跳。
• Sebastian Raschka, Build a Large Language Model (From Scratch) — 如果第 1 节的张量解剖读起来吃力，从这本补。
• UC Berkeley CS285: Deep Reinforcement Learning — 想把策略梯度那套推导彻底搞明白时看，比教科书更贴近现代实现。

本页几个符号的原始出处

• John Schulman, Approximating KL Divergence (2016) — $k_1/k_2/k_3$ 的唯一权威出处。所有 RLHF 代码库都在用它，但几乎没有论文解释为什么，只有这篇博客讲清楚了。
• Attention Is All You Need (2017) — Transformer 与自注意力；第 1 节的 LM head / logits 那套结构来自这里。
• Hinton et al., Distilling the Knowledge in a Neural Network (2015) — 「知识蒸馏」严格定义的源头，解释了它和口语里的「蒸馏」不是一回事。
• GAE (2015) — $\lambda$、$\delta_t^V$ 与「策略梯度乘子」这套记号的出处。

符号落地成代码

• InstructGPT (2022) — $\pi_{\text{ref}}$、$r_\phi$、$\beta$ 这套记号在语言模型上的第一次完整亮相。
• DPO (2023) — 隐式奖励与配分函数 $Z(x)$ 消去的那段推导；完整过程在 第 8 章。
• GRPO / DeepSeekMath (2024) — 组内标准化优势的原始定义，即第 4 节表里的那一行。
• RLOO (2024) — 留一法基线，以及「RLHF 其实不需要 PPO 那么复杂」这个论点。

相邻的两个附录

• 附录 B · 不只是「文风」 — 反驳「后训练只改风格」，与第 9 节的「肤浅对齐假说」直接相关。
• 第 15 章 · 正则化 — 第 6 节的 KL 估计器在那里有完整的数值实验、梯度推导和 $\beta$ 选型讨论。KL 相关的问题优先去那里查。