Guidance：如何让模型听懂 Prompt

0. 本讲导读

到上一讲为止，我们手里已经有一台完整的生成机器。Lecture 1 给出了 flow model 与 diffusion model 的定义，Lecture 2 用 flow matching 把边际向量场 $u_t^{\text{target}}$ 学了出来，Lecture 3-A 又把同一件事翻译成 score function $\score{t}$ 的语言，并且用 SDE extension trick 打通了 ODE 与 SDE 两条采样路线。把这些拼起来，我们可以从 $\simple = \N(0, I_d)$ 出发，模拟一条轨迹，让终点 $X_1$ 服从 $\data$。

问题是：这台机器只会做一件事——生成「某一张」图。你不能告诉它画什么。

但现实中我们几乎从不需要「随便生成点什么」。我们需要的是「生成一张柯基犬的照片」「生成一段猫在烤蛋糕的视频」。用数学语言说，我们要采样的不是 $\data(x)$，而是条件数据分布 $\data(x\mid y)$，其中 $y$ 是类别标签、文本 prompt、或者任何别的附加信息。

本讲要回答的问题只有一个，但它有两层：

1. 数学上怎么做？ 这一层其实很简单，简单到几乎没有新东西——把 $y$ 当成网络的一个额外输入，Lecture 2 的整套推导对每个固定的 $y$ 原封不动地成立。这叫 vanilla guidance。
2. 为什么这样做还不够，以及怎么修？ 这一层才是本讲的正题。实践中人们发现，理论上正确的 vanilla guidance 生成出来的图「不够像那个类别」。修复它的手段叫 classifier-free guidance（CFG），它是今天几乎所有图像 / 视频生成模型的标配。

本讲的技术核心其实是一行贝叶斯公式：

这行公式把「条件 score」拆成了「无条件 score」加上「一个噪声分类器的对数似然梯度」。第二项是唯一携带 prompt 信息的部分。既然模型对 prompt 不够敏感，那就把这一项人为放大 $w$ 倍——这就是 classifier guidance。而 classifier-free guidance 的聪明之处在于，它把同一个恒等式反过来用，把那个讨厌的分类器梯度整个消掉，换成两次向量场求值之差。

1. 问题设定：从 $\data(x)$ 到 $\data(x\mid y)$

术语约定：guided 而不是 conditional

先解决一个几乎必然踩坑的记号冲突。在 Lecture 2 里，「conditional（条件的）」这个词已经被占用了：conditional probability path $p_t(\cdot\mid z)$ 与 conditional vector field $u_t^{\text{target}}(\cdot\mid z)$ 里的「条件」，指的是以某个数据点 $z\sim\data$ 为条件。这是我们构造边际路径时用的内部脚手架，跟用户完全无关。

而本讲要讨论的是以一个 prompt $y$ 为条件，这是暴露给用户的接口。为了不让两个「条件」打架，讲义约定：

Guided diffusion model 的类型签名

我们把 prompt 变量 $y$ 想成活在某个空间 $\mathcal{Y}$ 里。$\mathcal{Y}$ 上不加任何约束：

• $y$ 是 ImageNet 类别标签时，$\mathcal{Y}=\{0,1,\dots,999\}$，离散有限；
• $y$ 是文本 prompt 时，$\mathcal{Y}$ 是所有字符串的集合（实践中被一个文本编码器映射成 $\R^{L\times k}$ 的嵌入序列）；
• $y$ 是一张分割图、一段音频、一个 3D 姿态时，$\mathcal{Y}$ 就是对应的空间。

一个 guided diffusion model 由一个 guided vector field $u^\theta$ 和一个固定的扩散系数 $\sigma_t$ 组成：

和 Lecture 1 里的无引导模型相比，唯一的差别是网络多吃了一个输入 $y\in\mathcal{Y}$。对任意选定的 $y$，采样流程也原封不动：

当 $\sigma_t\equiv 0$ 时，SDE 退化为 ODE，这样的模型称为 guided flow model。下文为了简洁，主要在 flow model 的语言里推导；一切结论对 diffusion model 都成立（见第 8 节末尾）。

四个密度：把类型理清楚

接下来所有推导都在同一个联合分布上进行，把它一次性写清楚可以避免后面反复迷路。构造如下：

1. 从数据集里抽一对 图文对 $(z,y)\sim\data(z,y)$。注意数据分布现在是 $\R^d\times\mathcal{Y}$ 上的联合分布，而不只是 $\R^d$ 上的分布。
2. 给定 $z$，按条件概率路径加噪：$x\sim p_t(\cdot\mid z)$。关键：加噪过程只看 $z$，完全不看 $y$。也就是说 $$X_t \perp Y \mid Z. \tag{$\star$}$$ 这个条件独立性是后面每一步的支柱。

于是我们得到一个 $t$-依赖的联合密度 $p_t(x,y)=\int p_t(x\mid z)\,\data(z,y)\ud z$，由它派生出四个我们会反复用到的密度：

2. Vanilla Guidance：把 $y$ 直接喂进网络

最朴素的做法是：训练和推理时都把 prompt $y$ 作为网络的一个额外输入，其余一切照旧。这听上去像是在耍赖，但它在数学上是完全站得住脚的。本节把这件事讲透。

固定 $y$ 的视角：Lecture 2 原封不动搬过来

先做一个思想实验：把 $y$ 钉死成某个具体值 $y_0$（比如「柯基犬」）。那么我们面对的就是一个全新的、但形式上一模一样的无引导生成问题——只不过数据分布从 $\data$ 换成了 $\data(\cdot\mid y_0)$。

逐条检查 Lecture 2 的推理链条，看它是不是真的照搬无误：

换句话说：Lecture 2 的所有定理都只依赖「存在某个数据分布」，而完全不关心这个分布是怎么来的。把 $\data$ 替换成 $\data(\cdot\mid y_0)$ 之后，我们立刻得到：ODE $\dd{X_t}=u_t^{\text{target}}(X_t\mid y_0)\dd{t}$ 把 $\simple$ 输运成 $\data(\cdot\mid y_0)$，而且可以用条件 flow matching 损失把它学出来：

从「每个 $y$ 一个模型」到「一个模型吃所有 $y$」

上面的思想实验有个致命的实践问题：$\mathcal{Y}$ 通常是无穷的（所有可能的文本），我们不可能给每个 prompt 训一个网络。真正的做法是一个网络、$y$ 作为输入，训练时对 $y$ 也取期望：

这就是讲义的 guided conditional flow matching objective。它和无引导的 CFM 目标唯一的差别是：采样 $(z,y)\sim\data$ 而不是 $z\sim\data$。落到 PyTorch 上，就是数据加载器要同时返回图像 $z$ 和 标签 / 文本 $y$，仅此而已。

但这里有一个不能跳过的问题：把不同 $y$ 的损失平均到一起之后，最优解还是每个 $y$ 各自的边际向量场吗？ 直觉上应该是（因为不同 $y$ 之间「不打架」），但我们把它证出来。

这个定理说明：把不同 $y$ 混在一个 batch 里训练，和分别训练一堆独立模型，在最优解层面是等价的。网络内部的 $y$-嵌入相当于给每个 prompt 分配了一个「槽位」，梯度只会把该槽位往它自己的目标上推。这一点在第 7 节讨论空标签 $\varnothing$ 时会再用一次，那里才是真正巧妙的地方。

Vanilla guidance 差在哪里

理论上到这里就该收工了：我们有一个正确的目标、一个正确的最优解、一个正确的采样器。然而人们很快发现，这样训出来的模型「不够听话」。

讲义给出了三个层次的原因，值得逐条拆开看：

1. 模型欠拟合。 我们训出来的其实是 $u_t^\theta$，而不是真正的 $u_t^{\text{target}}(\cdot\mid y)$。上面的定理只在「所有可测函数」这个理想类上成立；真实网络容量有限、训练步数有限、$\mathcal{Y}$ 又极大，网络会倾向于把 $y$ 当成一个弱信号忽略掉——毕竟即使完全无视 $y$，损失也只会小幅上升。梯度下降对这种「性价比低」的信号天然不敏感。
2. 数据本身不干净。 大规模图文对是从网页上爬的，alt-text 与图像内容的对应关系充满噪声。这意味着我们估计出的 $\data(\cdot\mid y)$ 本身就被「污染」得比真实的条件分布更宽、更接近无条件分布。
3. 更根本的一点：即使模型完美，用户想要的也不是 $\data(\cdot\mid y)$。 网络上「柯基犬」的照片里，绝大多数是随手拍的、构图糟糕的、狗只占画面一角的。从 $\data(\cdot\mid\text{柯基})$ 里公平采样，得到的自然也是这样一张平庸照片。用户真正想要的是这个分布的高密度区域——那些最「典型」「最像柯基」的样本。这不是估计误差，而是目标本身就该改。

3. 贝叶斯分解：条件 score 拆成两半

既然问题出在「$y$ 的信号太弱」，一个自然的想法是：把携带 $y$ 信息的那部分单独揪出来，然后人为放大它。要做到这一点，先得知道向量场里哪一部分才是「$y$ 的贡献」。

这就是本节的任务。为了具体，我们和讲义一样限定在高斯概率路径上：

其中噪声调度 $\alpha_t,\beta_t$ 连续可微、单调，且 $\alpha_0=\beta_1=0$、$\alpha_1=\beta_0=1$。

第 1 步：把引导向量场写成引导 score

Lecture 3-A 的 Proposition 1（高斯路径的转换公式）告诉我们，对高斯概率路径，边际向量场和边际 score 之间是一个只依赖调度的仿射关系：

我们现在要用的是它的引导版本：

第 2 步：对引导 score 用贝叶斯

现在把注意力放到 $\score{t}(x\mid y)$ 上。$p_t(x\mid y)$ 是一个条件密度，我们可以用贝叶斯公式把「条件在 $y$ 上」翻转成「条件在 $x$ 上」：

第 3 步：翻译回向量场

把 (3.3) 代进 (3.1)：

结论写成一行：

4. Classifier Guidance：把 prompt 分量放大 $w$ 倍

公式与命名

沿着上一节结尾的思路，做一件最粗暴的事：给第二项乘一个大于 $1$ 的系数。

这里 $w$ 称为引导强度（guidance scale）。当 $w=1$ 时，(4.1) 退化回 (3.4)，即真正的引导向量场；当 $w>1$ 时，我们在刻意夸大 prompt 的影响。

剩下的问题是：$\log p_t(y\mid x)$ 怎么拿到？注意到它就是一个作用在带噪数据上的分类器的对数似然——给定 $t$ 时刻的带噪样本 $x$，输出标签 $y$ 的概率。这可以用普通的监督学习训出来：拿标注数据 $(z,y)$，加噪得到 $x\sim p_t(\cdot\mid z)$，用交叉熵训一个接受 $(x,t)$ 输出类别分布的分类器 $q^\phi(y\mid x,t)$，然后用自动微分对输入 $x$ 求梯度即可。这条路线就叫 classifier guidance。

它在采样什么分布

先回答一个更重要的问题：(4.1) 究竟对应什么？这里有一个漂亮的答案。

把这个命题和转换公式 (3.1) 拼起来，(4.1) 可以重写成

也就是说：classifier guidance 相当于把锐化分布 $\tilde p_t$ 的 score 塞进了高斯路径的转换公式。这就是「guidance 在采样一个被重新加权的分布」这句话的精确含义。

为什么要绕开 classifier guidance

Classifier guidance 在原理上可行，也确实是历史上第一个被大规模使用的方案，但它有两个硬伤：

1. 要训两个网络。 除了 flow/diffusion 模型本身，还要额外训一个能在所有噪声水平 $t\in[0,1]$ 上工作的分类器。这个分类器不能拿现成的预训练分类器来用（它们只见过干净图），必须专门在带噪数据上训。工程复杂度直接翻倍。
2. 高维 $y$ 上会崩。 当 $y$ 不是 1000 类标签而是一段任意文本时，$p_t(y\mid x)$ 是一个在所有字符串上的分布——这个量既难建模，它对 $x$ 的梯度 $\nabla_x\log p_t(y\mid x)$ 更难可靠地估计。文生图恰恰是最重要的应用场景。

此外还有一个实践上的烦恼：每一步采样都要对分类器做一次反向传播来拿输入梯度，这比一次前向要贵。

下一节的 classifier-free guidance 用一个非常简单的代数把这两个问题一并解决。

5. Classifier-Free Guidance：把分类器反解掉

Classifier guidance 的麻烦全部来自那个 $\nabla_x\log p_t(y\mid x)$。CFG 的想法极简单：恒等式 (3.3) 既然能把 $\score{t}(x\mid y)$ 拆成两项，那也能把 $\nabla\log p_t(y\mid x)$ 用另外两项表示出来。移项即可：

右边全是我们已经会算的东西——引导 score 和无引导 score，都可以由训练好的向量场网络经转换公式得到。把它代回 (4.1) 就能把分类器彻底消掉。

完整推导

写成最终形式（讲义 Summary 27，把无引导向量场记作 $u_t^{\text{target}}(x\mid\varnothing)$，理由见下）：

等价的 score 版本（把 (3.3) 代入 $\score{t}(x)+w\nabla\log p_t(y\mid x)$，或者直接对 (5.2) 用一次转换公式）：

几何图像

(5.2) 还可以整理成一个「基准 + 修正」的形式，这是理解它最好的写法：

空标签 $\varnothing$：一个网络干两件事

(5.2) 需要两个向量场：无引导的 $u_t^{\text{target}}(x)$ 和引导的 $u_t^{\text{target}}(x\mid y)$。第一反应是要训两个模型——一个用无引导 CFM 目标，一个用 guided CFM 目标——那我们不过是把「模型 + 分类器」换成了「模型 + 模型」，没省下什么。

CFG 的第二个关键想法解决了这件事：把标签集合扩充一个新元素 $\varnothing$，表示「没有条件」。即令 $\mathcal{Y}^{+}:=\mathcal{Y}\cup\{\varnothing\}$，并约定

于是无引导向量场只是引导向量场在某个特殊输入上的取值，一个网络 $u^\theta:\R^d\times\mathcal{Y}^{+}\times[0,1]\to\R^d$ 就够了。实现上，如果 $y$ 是类别标签，就把 embedding 表从 $|\mathcal{Y}|$ 行扩到 $|\mathcal{Y}|+1$ 行，多出来那一行就是 $\varnothing$；如果 $y$ 是文本嵌入，就用空字符串 "" 的嵌入，或者一个可学习的全零/常数向量。

剩下的唯一问题是：怎么让网络在 $\varnothing$ 这个槽位上学到正确的无引导向量场？这是第 7 节的内容。

6. 引导在采样什么：锐化与外插的几何

第 4 节我们已经知道 $\tilde p_t(\cdot\mid y)\propto p_t(x)^{1-w}p_t(x\mid y)^{w}$。这一节把这个抽象结论落到具体的高斯算例上，把「感知质量上升、多样性下降」这句定性描述变成可以手算的公式。

算例一：等协方差 —— guidance 就是均值外插

这个结果非常说明问题：在等协方差的情形下，CFG 对分布做的事情，就是把均值沿着「无条件 → 条件」的方向外推 $w$ 倍。注意 $\tilde\mu=(1-w)\mu^{\varnothing}+w\mu^{y}$ 与 CFG 的向量场公式 (5.2) 形式完全一致——这不是巧合，因为高斯的均值和它的向量场都是 $x$ 的仿射函数，而 CFG 是线性运算。

算例二：不等方差 —— 多样性是怎么丢的

三种极限情形

用分类器形式 $\tilde p_t\propto p_t(x)p_t(y\mid x)^{w}$ 看极限，图像更直观：

• $w=0$：$\tilde p_t\propto p_t(x)$，分类器项被完全抹掉，退化为无引导采样。
• $w=1$：$\tilde p_t\propto p_t(x)p_t(y\mid x)\propto p_t(x\mid y)$，正是真正的条件分布。这是唯一有理论保证的取值。
• $w\to\infty$：$p_t(y\mid x)^{w}$ 变成一个越来越尖的指示函数，质量集中到 $\argmax_x p_t(y\mid x)$ 附近——即「分类器最确信是 $y$ 的那个点」。这是彻底的模式寻找（mode seeking）。注意这个点未必是「最像真实柯基的图」，而是「最能骗过噪声分类器的图」；两者的偏离就是伪影的来源。

7. 训练：空标签与 label dropout

回到第 5 节留下的问题：我们约定了 $u_t^{\text{target}}(x\mid\varnothing):=u_t^{\text{target}}(x)$，但网络凭什么会在 $\varnothing$ 这个输入上学出无引导向量场？

困难在于：从数据集里采样 $(z,y)\sim\data(z,y)$ 时，我们永远采不到 $y=\varnothing$——真实数据里每张图都是有标签的。$\varnothing$ 这个槽位在训练中根本不会被触发，它的参数会保持随机初始化的状态。

解决办法出奇地简单：人为地制造 $y=\varnothing$ 的样本。引入一个超参数 $\eta\in[0,1]$，每次取到一对 $(z,y)$ 之后，以概率 $\eta$ 把标签丢掉、换成 $\varnothing$。这就是 label dropout。于是得到 CFG conditional flow matching 目标：

它和第 2 节的 guided CFM 目标唯一的差别就是最后那句「以概率 $\eta$ 替换」。但这一句话就让同一个网络同时学会了条件模型和无条件模型。下面把这件事严格证出来——这正是讲义一笔带过、而我们必须补上的地方。

训练算法

把它写成明确的伪代码（高斯路径 $p_t(x\mid z)=\N(\alpha_t z,\beta_t^2 I_d)$）：

Require: 配对数据集 (z, y) ~ p_data,  网络 u_t^theta,  丢弃概率 eta
 1: for 每个 mini-batch do
 2:     从数据集采一对 (z, y)                      # z in R^d,  y in Y
 3:     采时间   t ~ Unif[0, 1]
 4:     采噪声   eps ~ N(0, I_d)
 5:     构造带噪样本  x = alpha_t * z + beta_t * eps      # x ~ p_t(.|z)
 6:     以概率 eta 丢标签:  y <- 空标签
 7:     计算损失  L(theta) = || u_t^theta(x|y) - (alpha_dot_t * z + beta_dot_t * eps) ||^2
 8:     对 L(theta) 做梯度下降更新 theta
 9: end for

第 7 行的回归目标用的是高斯路径下条件向量场的闭式解。回忆 Lecture 2：$x=\alpha_t z+\beta_t\epsilon$ 是 $z$ 与 $\epsilon$ 的确定性组合，沿 $t$ 求导得

对最常用的 CondOT 调度 $\alpha_t=t,\ \beta_t=1-t$，这就是 $u_t^{\text{target}}(x\mid z)=z-\epsilon$——一个不含网络输出、完全由采样得到的量。

PyTorch：带 label dropout 的训练

import torch
import torch.nn as nn
import torch.nn.functional as F

DIM, NUM_CLASSES = 2, 3
NULL = NUM_CLASSES                  # 空标签占用第 NUM_CLASSES 号 embedding 槽位
DEV  = "cuda" if torch.cuda.is_available() else "cpu"

# ---- 玩具数据：三个模态放在一个圆上，y = 模态编号 -----------------
CENTERS = torch.tensor([[ 2.0,  0.0],
                        [-1.0,  1.7],
                        [-1.0, -1.7]], device=DEV)     # (3, 2)
STD = 0.25

def sample_data(bs):
    y = torch.randint(0, NUM_CLASSES, (bs,), device=DEV)        # (bs,)
    z = CENTERS[y] + STD * torch.randn(bs, DIM, device=DEV)     # (bs, 2)
    return z, y

# ---- 网络：u_t^theta(x | y)，y 通过 embedding 注入 ----------------
class GuidedVF(nn.Module):
    def __init__(self, hidden=256):
        super().__init__()
        self.y_emb = nn.Embedding(NUM_CLASSES + 1, hidden)   # +1 行留给空标签
        self.inp   = nn.Linear(DIM + 1, hidden)              # 把 (x, t) 一起投上去
        self.body  = nn.Sequential(
            nn.SiLU(), nn.Linear(hidden, hidden),
            nn.SiLU(), nn.Linear(hidden, hidden),
            nn.SiLU(), nn.Linear(hidden, DIM),
        )

    def forward(self, x, t, y):
        # x: (bs, DIM)   t: (bs, 1)   y: (bs,) long
        h = self.inp(torch.cat([x, t], dim=-1)) + self.y_emb(y)   # (bs, hidden)
        return self.body(h)                                       # (bs, DIM)

# ---- 训练：guided CFM 目标 + label dropout ------------------------
def train(steps=6000, bs=1024, eta=0.1, lr=1e-3):
    net = GuidedVF().to(DEV)
    opt = torch.optim.Adam(net.parameters(), lr=lr)
    for _ in range(steps):
        z, y = sample_data(bs)                          # (bs,2), (bs,)
        t    = torch.rand(bs, 1, device=DEV)            # (bs,1)   t ~ U[0,1]
        eps  = torch.randn_like(z)                      # (bs,2)   eps ~ N(0,I)

        # CondOT 调度: alpha_t = t, beta_t = 1 - t
        x      = t * z + (1.0 - t) * eps                # (bs,2)   x ~ p_t(.|z)
        target = z - eps                                # (bs,2)   u_t^target(x|z)

        # >>> 与无引导训练唯一的区别就是下面两行 <<<
        drop = torch.rand(bs, device=DEV) < eta         # (bs,) bool，独立于 z
        y_in = torch.where(drop, torch.full_like(y, NULL), y)     # (bs,)

        loss = F.mse_loss(net(x, t, y_in), target)
        opt.zero_grad(); loss.backward(); opt.step()
    return net

请把这段代码和上面的推导逐项对照：x = t*z + (1-t)*eps 是 $x\sim p_t(\cdot\mid z)$；target = z - eps 是 $\dot\alpha_t z+\dot\beta_t\epsilon$；drop 用 torch.rand 独立生成，正是定理里 $B\perp Z$ 的那一条。

8. 采样：CFG 推理流程与 $w$ 的取值

算法

Require: 训练好的引导向量场 u_t^theta(x|y)
 1: 选定 prompt y（取空标签则为无引导采样）
 2: 选定引导强度 w > 1
 3: 初始化 X_0 ~ p_init                                   # 通常 N(0, I_d)
 4: 模拟 ODE:  dX_t = [ (1-w)*u_t^theta(X_t|空标签)
                      +   w  *u_t^theta(X_t|y)      ] dt   从 t=0 到 t=1

$w$ 取什么值

讲义对具体数值给出了两处可引用的说法：几乎所有你看到的 AI 生成图像 / 视频都重度依赖 CFG 且 $w\ge 4$；Stable Diffusion 3 在采样时使用 $50$ 步 Euler 与介于 $2.0$–$5.0$ 之间的引导权重。

扩散版本

9. 可运行的最小实现

接着第 7 节的训练代码，补上采样部分。核心只有三行：拼 batch、算两个向量场、做线性组合。

ODE 采样（Euler）

@torch.no_grad()
def cfg_sample(net, y, w=4.0, n_steps=200):
    """y: (bs,) long，目标标签；返回 (bs, DIM) 的样本"""
    bs = y.shape[0]
    x  = torch.randn(bs, DIM, device=DEV)          # (bs,2)  X_0 ~ p_init
    y0 = torch.full_like(y, NULL)                  # (bs,)   全是空标签
    dt = 1.0 / n_steps

    for i in range(n_steps):
        t = torch.full((bs, 1), i * dt, device=DEV)         # (bs,1)

        # 条件与无条件沿 batch 维拼起来，一次前向搞定两遍求值
        xx = torch.cat([x,  x ], dim=0)                     # (2bs,2)
        tt = torch.cat([t,  t ], dim=0)                     # (2bs,1)
        yy = torch.cat([y,  y0], dim=0)                     # (2bs,)

        u_cond, u_null = net(xx, tt, yy).chunk(2, dim=0)    # 各 (bs,2)
        u = (1.0 - w) * u_null + w * u_cond                 # (bs,2)  式 (5.2)

        x = x + u * dt                                      # Euler 前进一步
    return x

注意 torch.cat + chunk 这个写法：它把两次网络求值合并成一次前向，不会减少计算量（FLOPs 仍是两倍），但能显著提高 GPU 利用率，也让代码更短。这是所有主流实现的标准写法。

SDE 采样（把 score 一起引导）

import math

@torch.no_grad()
def cfg_sample_sde(net, y, w=4.0, sigma=0.3, n_steps=400):
    """CondOT 调度下的 SDE 采样；sigma 为扩散系数（可调）"""
    bs = y.shape[0]
    x  = torch.randn(bs, DIM, device=DEV)
    y0 = torch.full_like(y, NULL)
    t0, t1 = 1e-3, 1.0 - 1e-3          # 避开 t=0 处 a_t, b_t 的奇点
    dt = (t1 - t0) / n_steps

    for i in range(n_steps):
        tv = t0 + i * dt
        t  = torch.full((bs, 1), tv, device=DEV)

        xx, tt = torch.cat([x, x], 0), torch.cat([t, t], 0)
        yy = torch.cat([y, y0], 0)
        u_cond, u_null = net(xx, tt, yy).chunk(2, dim=0)
        u = (1.0 - w) * u_null + w * u_cond            # (bs,2)  引导向量场

        a_t, b_t = (1.0 - tv) / tv, 1.0 / tv           # CondOT 的转换系数
        s = (u - b_t * x) / a_t                        # 由 Prop.1 反解得引导 score

        x = x + (u + 0.5 * sigma**2 * s) * dt \
              + sigma * math.sqrt(dt) * torch.randn_like(x)
    return x

把两者串起来

net = train(steps=6000, eta=0.1)

for w in [0.0, 1.0, 2.0, 4.0, 8.0]:
    y = torch.zeros(2000, dtype=torch.long, device=DEV)   # 全部要第 0 类
    xs = cfg_sample(net, y, w=w)                          # (2000, 2)
    center = CENTERS[0]                                   # 第 0 类的真实中心
    print(f"w={w:4.1f}  "
          f"均值={xs.mean(0).tolist()}  "                 # 应随 w 增大而外插
          f"标准差={xs.std(0).mean().item():.3f}  "       # 应随 w 增大而收缩
          f"到目标中心距离={(xs.mean(0) - center).norm().item():.3f}")

这段脚本能把第 6 节的两个结论直接跑出来：随着 $w$ 增大，样本均值沿「无条件中心 → 第 0 类中心」的方向越过目标中心（均值外插），同时标准差单调下降（方差收缩）。$w=0$ 时样本会均匀覆盖全部三个模态；$w=1$ 时集中到第 0 个模态且散布与数据相当；$w=8$ 时会明显缩成一个比数据簇更紧的点团，并且偏到簇的外侧。

10. 实践注意事项与常见误区

推理成本翻倍

CFG 最直接的代价：每一个积分步都要对网络做两次求值——一次喂 $y$，一次喂 $\varnothing$。因此在相同步数下，CFG 采样的 FLOPs 和显存带宽消耗都是无引导采样的两倍。对于 Stable Diffusion 3 那种 $50$ 步的设置，实际是 $100$ 次网络前向。

几个常见的工程手段：

• batch 合并（上面代码里的写法）：把条件与无条件拼成一个 $2\times$ batch 的前向。省不了 FLOPs，但省下一半 kernel launch 开销，并让 GPU 跑在更高的算术强度上。
• 区间关闭引导：由第 1 节的直觉，$t$ 很小时 $\nabla\log p_t(y\mid x)\approx 0$，引导几乎不起作用；在这些步上可以只算条件分支。
• 蒸馏：把「带 CFG 的两次求值」蒸馏进一个单次求值的学生网络。这是 Lecture 5 会讲到的方向。

$w$ 太大的失效模式

$w$ 的记号约定不统一

$\varnothing$ 该怎么实现

• 类别标签：把 embedding 表从 $|\mathcal{Y}|$ 行扩到 $|\mathcal{Y}|+1$ 行，最后一行专门给 $\varnothing$（上面代码的做法）。
• 文本条件：把空字符串 "" 送进文本编码器，用得到的嵌入作为 $\varnothing$；或者用一个可学习的常量嵌入。前者更常见，也让「负向 prompt」这类玩法成为可能——把 $\varnothing$ 换成一个你不想要的 prompt 的嵌入，(5.4) 就变成了在「远离该 prompt」的方向上外插。
• 切忌把 $\varnothing$ 实现成某个真实标签的复用，或者全零向量恰好与某个合法嵌入重合——那会让无条件分支和某个条件分支互相污染，定理里 $\varnothing\notin\mathcal{Y}$ 的前提就不成立了。

其他容易忽略的点

本讲小结

延伸阅读

Guidance 的两篇源头

• Classifier-Free Diffusion Guidance (Ho & Salimans, 2022) — CFG 的原始论文，本讲第 5–7 节的全部内容都出自它。读它主要是为了看清记号约定的差异（他们的 $s=w-1$）与实验设计。
• Diffusion Models Beat GANs on Image Synthesis (Dhariwal & Nichol, 2021) — classifier guidance 的出处，也是扩散模型第一次在 ImageNet 上超过 GAN。想理解「为什么人们一开始愿意多训一个分类器」，看这篇。

理论背景

• Score-Based Generative Modeling through Stochastic Differential Equations (Song et al., 2021) — 条件生成的 score 视角，包括用 $\nabla\log p_t(y\mid x)$ 做各类逆问题求解（inpainting、超分等），是本讲贝叶斯分解的更一般化版本。
• Flow Matching for Generative Modeling (Lipman et al., 2022) — flow matching 的原始论文，本讲第 2 节「固定 $y$ 后一切照搬」所依赖的全部结论都在这里。
• Flow Matching Guide and Code (Lipman et al., 2024) — 一份把理论与实现对齐的长篇指南，适合在读完本讲后核对自己的实现细节。

工业级实践

• Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (Esser et al., 2024) — Stable Diffusion 3。它用的正是本讲的 CFG 训练（丢弃类别标签）与 $2.0$–$5.0$ 的引导权重，是「讲义里的算法如何变成真实系统」的最佳对照。
• Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding (Saharia et al., 2022) — Imagen。它系统讨论了大引导权重带来的过饱和问题，并提出动态截断（dynamic thresholding）作为解法，正好补上本讲第 10 节提到的工程细节。
• Movie Gen: A Cast of Media Foundation Models (Polyak et al., 2024) — 把同一套 flow matching + CFG 搬到视频上，可以看到条件模态（文本、图像、音频）变复杂之后 $\varnothing$ 的设计要怎么变。
• High-Resolution Image Synthesis with Latent Diffusion Models (Rombach et al., 2022) — 潜空间扩散。CFG 在潜空间里的行为与像素空间一致（因为它只是网络输出的线性组合），这一点在下一讲会用到。