得分函数与 Score Matching

0. 本讲导读

Lecture 2 的结局是一台可以工作的生成机器：选一条条件概率路径 $p_t(\cdot\mid z)$，写出它的条件向量场 $u_t^{\text{target}}(x\mid z)$，用 conditional flow matching 损失训练一个神经网络 $u_t^\theta$，然后从 $X_0\sim\simple$ 出发模拟常微分方程 $\dd{X_t}=u_t^\theta(X_t)\dd{t}$，终点 $X_1$ 就近似服从 $\data$。整条链路是确定性的：给定 $X_0$，轨迹和终点都被完全钉死。

但真实世界里被大规模部署的模型——DDPM、Stable Diffusion、EDM——采样时都在加噪声。它们模拟的不是 ODE，而是随机微分方程（stochastic differential equation, SDE）。这就产生了三个必须回答的问题：

• （a） 往 ODE 里塞噪声，边际分布 $p_t$ 会不会被破坏？如果会，那随机采样就是错的；如果不会，为什么？
• （b） 要把噪声塞进去，光有 $u_t^{\text{target}}$ 够吗？还需要什么额外的量？这个额外的量能不能学？
• （c） 文献里的 score matching、denoising score matching、noise prediction、DDPM 的 $\epsilon$-loss、$x_0$-prediction、$v$-prediction，它们和我们学的 flow matching 是什么关系？是完全不同的方法，还是同一个东西换了个坐标系？

本讲的答案可以提前剧透：只需要引入一个新对象——得分函数（score function）$\score{t}(x)=\nabla_x\log p_t(x)$——上面三个问题就一起解决了。得分函数是「往 ODE 里加噪声而不破坏边际」所需的唯一额外信息；对高斯路径来说它甚至不是额外信息，因为它和 $u_t^{\text{target}}$ 之间有一个逐点的线性双射；而 DDPM 的训练损失，不过是把 conditional score matching 损失做一次代数变形之后的产物。

阅读顺序上，本讲严格跟随讲义 §4：§1–§3 建立 score 的定义、闭式解与边际化技巧（对应讲义 §4.1）；§4–§5 给出 score 与向量场的转换公式和去噪器视角；§6–§7 是本讲技术核心，用 Fokker–Planck 方程证明 SDE extension trick（讲义 §4.2）；§8–§9 处理训练问题（讲义 §4.3）；§10 给出可以直接跑的最小实现。

1. 得分函数：另一种描述分布的方式

到目前为止，我们描述一条概率路径的方式一直是向量场（vector field）$u_t:\R^d\times[0,1]\to\R^d$：它告诉粒子往哪走。扩散模型的文献（Song & Ermon 2019、Song et al. 2021）走的是另一条路，核心对象叫得分函数（score function）。

定义与类型

设 $q$ 是 $\R^d$ 上任意一个概率密度。$q$ 的得分函数定义为

注意维度：$q(x)\in\R$ 是标量，$\log q(x)\in\R$ 也是标量，但它关于 $x$ 的梯度是 $d$ 维向量。所以得分函数和向量场是同一种类型的对象：都是 $\R^d\to\R^d$ 的映射。这不是巧合，后面 §4 会看到它们之间有一个精确的线性字典。

直觉：指向「更像数据」的方向

$\nabla\log q(x)$ 指的是对数似然上升最快的方向。站在 $x$ 处，沿着 $\nabla\log q(x)$ 走一小步，会让你到达一个概率密度更高的位置。所以 score 场的箭头总是从低密度区指向高密度区、从「山谷」指向「山峰」。

为什么箭头在峰中心变短、在远处变长？拿一维标准高斯 $q(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$ 算一下：$\log q(x)=-\frac{x^2}{2}-\frac12\log(2\pi)$，于是

在 $x=0$（峰值）处 score 为 $0$；在 $x=3$ 处 score 为 $-3$，方向朝原点、大小正比于距离。这就是「弹簧回中心」的图像。把它推广到 $\N(\mu,\sigma^2 I_d)$：

这个式子在本讲会反复出现，请先记住它的三个特征：（i）方向指向均值 $\mu$；（ii）大小正比于偏离量；（iii）分母是方差，所以方差越小、score 越大。第三点后面会变成一个非常现实的数值问题。

为什么是 score 而不是密度：归一化常数消失了

这是整节最重要的一句话，也是 score-based 方法能存在的根本理由。假设我们只知道 $q$ 的未归一化形式

其中 $Z\in\R$ 是配分函数（partition function），通常是一个 $d$ 维积分，$d$ 一旦上千就完全算不动。但是

因为 $Z$ 是常数、与 $x$ 无关，梯度把它彻底抹掉了。

一个立刻可用的例子：物理里的玻尔兹曼分布 $p_{\text{Boltzmann}}(x)=\frac1Z\exp(-U(x))$，其中 $U$ 是势能。$Z$ 算不出来，但

就是（负的）力场，而力场在分子模拟里是直接可以算的。§7 讲 Langevin dynamics 时我们会看到，这一条观察撑起了整个分子动力学模拟领域。

条件得分与边际得分

现在回到 Lecture 2 的设定。我们有：

• 数据分布 $\data$ 在 $\R^d$ 上，$z\sim\data$ 表示一个干净数据点；
• 条件概率路径 $p_t(\cdot\mid z)$，满足 $p_0(\cdot\mid z)=\simple$、$p_1(\cdot\mid z)=\delta_z$；
• 边际概率路径 $p_t(x)=\displaystyle\int p_t(x\mid z)\data(z)\dd{z}$，满足 $p_0=\simple$、$p_1=\data$。

对应地定义两个 score：

这里的梯度永远是对 $x$ 求的，$z$ 和 $t$ 都当参数看。类型上：$\nabla\log p_t(\cdot\mid z):\R^d\to\R^d$，$\nabla\log p_t:\R^d\times[0,1]\to\R^d$。

整个 Lecture 2 的剧本可以原封不动搬过来，只要把「向量场」四个字换成「得分函数」：

接下来三节就是把这张表的每一行填实。

2. 高斯路径的条件得分：一个能写出闭式解的特例

Lecture 2 反复强调：条件量之所以有用，是因为它有闭式解。对 score 来说也一样。本节把讲义 Example 15 完整算一遍。

设定

取高斯条件概率路径（Gaussian conditional probability path）

其中 $\alpha_t,\beta_t\in\R$ 是噪声调度器（noise scheduler）：连续可微、单调，且

于是 $p_0(\cdot\mid z)=\N(0,I_d)=\simple$（纯噪声），$p_1(\cdot\mid z)=\N(z,0)=\delta_z$（干净数据）。最常用的两个例子：CondOT 调度 $\alpha_t=t,\beta_t=1-t$；方差保持（variance-preserving）调度 $\alpha_t=\sin\frac{\pi t}{2},\beta_t=\cos\frac{\pi t}{2}$，后者满足 $\alpha_t^2+\beta_t^2=1$。

等价的采样写法（讲义 Eq. 28）非常关键，后面到处要用：

逐步推导条件得分

结论（讲义 Eq. 40）：

三个必须注意的性质

（1）用 $\epsilon$ 重写。代入 $x=\alpha_t z+\beta_t\epsilon$：

也就是说，条件得分就是（缩放后的）加进去的那团噪声的相反数：

这一行就是「score 网络 $\Leftrightarrow$ 噪声预测网络」这条著名对应关系的全部内容，§9 会正式给出。它的直觉极其朴素：知道往哪个方向能提高似然，等价于知道当初是哪个方向被噪声推歪了。

（2）$\beta_t\to0$ 时爆炸。当 $t\to1$，$\beta_t\to0$，而 $\norm{\nabla\log p_t(x\mid z)}=\norm{\epsilon}/\beta_t\to\infty$。这不是推导错误——$p_1(\cdot\mid z)=\delta_z$ 是一个退化分布，它的「密度」在 $z$ 处是无穷尖峰，log 密度的梯度当然发散。但这在工程上是真实的麻烦：训练时 $t$ 接近 $1$ 的样本会贡献巨大的损失值和梯度。§9 会说明 DDPM 是怎么绕开这一点的。

（3）它只依赖 $x$ 和 $z$，不依赖 $\data$。这是「条件量可算」的本质：给定 $z$，$p_t(\cdot\mid z)$ 是我们自己设计的高斯，不含任何未知信息。而边际 $p_t(x)=\int p_t(x\mid z)\data(z)\dd{z}$ 里塞着整个数据分布，那是我们不知道的东西。

3. 边际得分与边际化技巧

我们真正想要的是边际得分 $\nabla\log p_t(x)$——因为采样时用的是边际动力学，我们手里没有 $z$。本节证明：边际得分可以写成条件得分的后验加权平均，形式与 Lecture 2 的向量场边际化技巧（讲义 Eq. 18）逐字对应。

定理与证明

这个式子在说什么

分子分母合起来的那一坨，由贝叶斯公式认出来就是后验分布：

因此边际化技巧的内容就是一句话：

为什么这个公式重要，却又不能直接用？它重要，是因为它把不可算的 $\nabla\log p_t$ 用可算的 $\nabla\log p_t(x\mid z)$ 表示了出来——这是 §8 证明 Theorem 22 的唯一工具。它不能直接用，是因为公式里出现了 $p_t(x)$，而 $p_t(x)=\int p_t(x\mid z)\data(z)\dd{z}$ 是一个对整个数据分布的 $d$ 维积分，既没有闭式解，蒙特卡洛估计的方差也随维度爆炸。这正是本课的母题 (c)：一个「看起来不可能算」的量，怎么被换成可算的。答案不是把它算出来，而是证明「回归它」和「回归另一个可算的东西」有相同的最优解。

一个能手算的例子：两点数据集

取 $d=1$，$\data=\frac12\delta_{z_1}+\frac12\delta_{z_2}$。则

后验权重是 softmax 形式

而边际得分是两个「弹簧」的加权和：

注意最后一个等号把结果整理成了「$\alpha_t\times$（后验均值）$-x$，再除以 $\beta_t^2$」的形式。这个结构不是巧合，§5 的 Tweedie 公式会证明它在任意 $\data$ 下都成立。

$t$ 很小时（$\alpha_t\approx0,\beta_t\approx1$），两个高斯几乎完全重叠，$w_1\approx w_2\approx\frac12$，score 场看起来就像单个中心在 $\frac{\alpha_t(z_1+z_2)}{2}$ 的高斯：两个模式还没分开。$t$ 接近 $1$ 时（$\beta_t\to0$），后验权重变成近乎硬性的 $0/1$ 判决，score 场在两点之间出现一条陡峭的「分水岭」：模式分离完成。生成过程做的就是这件事——沿着时间把混沌的单峰逐渐劈成数据分布的多个模式。

4. 转换公式：score 与 vector field 是同一枚硬币的两面

上一节结束时留了一个悬念：条件得分是 $x,z$ 的线性函数，条件向量场也是 $x,z$ 的线性函数。两个线性函数之间当然存在线性变换。讲义 Proposition 1 把这个变换写了出来，而它的后果非常大：对高斯路径，学 score 和学向量场是同一件事，不需要训练两个网络。

回顾条件向量场

Lecture 2（讲义 Eq. 20 / 29）给出高斯路径的条件向量场

把它和上一节的条件得分并排放：

Proposition 1（转换公式）

工程意义

Proposition 1 说的是：给定 $t$ 和 $x$，映射 $s\mapsto a_t s+b_t x$ 是 $\R^d\to\R^d$ 的仿射双射（只要 $a_t\ne0$）。所以

算例：两种常用调度的 $a_t,b_t$

把定义代进去手算一遍，方便写代码时对拍。

VP 调度有个漂亮的性质：因为 $\alpha_t^2+\beta_t^2=1$，所以 $a_t=b_t=\frac{\pi\beta_t}{2\alpha_t}$，转换公式简化成 $u_t^{\text{target}}(x)=\frac{\pi\beta_t}{2\alpha_t}\big[\nabla\log p_t(x)+x\big]$。CondOT 调度下 $a_t,b_t$ 在 $t\to0$ 时都发散（因为 $\alpha_t=t\to0$），代码里通常从 $t=\varepsilon$ 而不是 $t=0$ 开始，或者直接用向量场参数化避免除以 $\alpha_t$。

5. Tweedie 公式与去噪器视角

讲义 Remark 16 指出了一件比 Proposition 1 更深的事：向量场与 score 之所以能互换，是因为它们都是同一个东西的线性重参数化，而那个东西就是后验均值 $\E[z\mid x]$。本节把这条主线讲透，因为它解释了为什么工业界的扩散模型有 $x_0$-预测、$\epsilon$-预测、$v$-预测这么多花样，以及它们为什么本质上是一个模型。

去噪器的定义

定义条件去噪器与边际去噪器（denoiser）（讲义 Eq. 43）

条件去噪器是平凡的：给定 $z$，最佳的「干净数据」猜测当然就是 $z$ 本身。边际去噪器才是有内容的那个：给定一个含噪观测 $x$，干净数据的后验期望是多少。这是最小均方误差（MMSE）意义下的最优去噪，也是「denoising diffusion model」这个名字的来源。

Tweedie 公式

去噪器与向量场的互换

讲义 Eq. 43 还给出了去噪器与边际向量场的直接关系：

注意 $W_t=\dot\alpha_t\beta_t-\alpha_t\dot\beta_t$ 是调度器的 Wronskian 行列式。它非零就保证了转换可逆。CondOT 调度下 $W_t=1\cdot(1-t)-t\cdot(-1)=1$，恒等于常数，非常干净。

6. 用 SDE 采样：SDE extension trick

前面全部是准备工作。现在进入本讲的技术核心。

问题：为什么想要 SDE

到 Lecture 2 为止，我们只会做一件事：从 $X_0\sim\simple$ 出发模拟 ODE $\dd{X_t}=u_t^{\text{target}}(X_t)\dd{t}$。这条轨迹是完全确定的——同一个 $X_0$ 永远给出同一个 $X_1$，随机性全部来自初值。但主流扩散模型采样时会在每一步注入新鲜噪声。这带来了实际好处：随机性可以把轨迹从训练误差造成的「错误吸引子」里踢出来，还允许 Langevin 式的自我纠错。问题是——随便加噪声显然会破坏边际分布。给定的 $p_t$ 是我们精心设计的，凭什么加了噪声还能保持？

Theorem 17（SDE extension trick）

请仔细看这个式子的结构。相比原来的 ODE，多出了两项而不是一项：

• $\sigma_t\dd{W_t}$：这是我们想加的噪声，$W_t$ 是 $d$ 维标准布朗运动；
• $\frac{\sigma_t^2}{2}\nabla\log p_t(X_t)\dd{t}$：这是补偿项，它的存在完全是为了抵消噪声造成的扩散。

Example 18：高斯路径下的纯 score 形式

把 Proposition 1 代进 Theorem 17，可以把向量场彻底消掉（讲义 Eq. 46）：

于是

反过来，如果你手上训练好的是向量场网络 $u_t^\theta$ 而不是 score 网络，用 $\nabla\log p_t=\frac{u_t^{\text{target}}-b_t x}{a_t}$ 代入可得（讲义 Eq. 55）

验证很直接：$u_t+\frac{\sigma_t^2}{2}\cdot\frac{u_t-b_t x}{a_t}=\big(1+\frac{\sigma_t^2}{2a_t}\big)u_t-\frac{\sigma_t^2 b_t}{2a_t}x$。两条式子给出同一条 SDE，选哪条取决于你的网络输出的是什么。

$\sigma_t$ 到底怎么选

Theorem 17 最惊人的地方在于 $\sigma_t$ 是完全自由的，而且是在训练完成之后才需要决定的超参数。同一个训练好的网络可以配任意 $\sigma_t$ 采样。这意味着：

ODE 只是 $\sigma_t\equiv0$ 的那一个成员。理论上它们全部正确。

表格倒数第四行值得强调：ODE 与 SDE 只是边际分布相同，轨迹的联合分布完全不同。这回答了本课母题 (b) 的一半——「相同」指的到底是什么相同。ODE 保持了 $X_0$ 与 $X_1$ 之间的一一对应（这是图像编辑、inversion 类应用的基础），SDE 则彻底打乱了这个对应。下一节给出「为什么边际相同」的完整证明。

7. Fokker–Planck 方程与 Theorem 17 的完整证明

Lecture 2 证明「ODE 的边际是 $p_t$」用的工具是连续性方程。要处理 SDE，需要它的推广。

拉普拉斯算子

先定义符号。对标量场 $w_t:\R^d\to\R$，拉普拉斯算子（Laplacian）为（讲义 Eq. 48）

注意这个双重身份：$\Lap$ 既是「二阶偏导之和」，也是「梯度的散度」。后一个写法在下面的证明里是决定性的，因为它让 Laplacian 项能被塞进 $\divg(\cdot)$ 括号里，与向量场项合并。回忆散度的定义（讲义 Eq. 22）：对向量场 $v_t:\R^d\to\R^d$，$\divg(v_t)(x)=\sum_{i=1}^d\frac{\partial v_t^i}{\partial x_i}(x)$，其中 $v_t^i$ 是第 $i$ 个分量。

Theorem 19（Fokker–Planck 方程）

这是一个当且仅当，两个方向都有用：要证明某条 SDE 跟随某条路径，只需验证 PDE；反之知道 SDE 也就知道了密度演化。$\sigma_t=0$ 时右边第二项消失，退化成连续性方程 $\partial_t p_t=-\divg(p_t u_t)$，也就是 Lecture 2 的 Theorem 11。讲义把 Fokker–Planck 的自洽证明放在附录 B，本讲把它作为已知工具使用。

Theorem 17 的证明

Remark 20：Langevin 动力学

Theorem 17 有一个著名的退化特例，值得单独看，因为它连接了扩散模型与整个统计物理/MCMC 传统。

取常数概率路径：$p_t\equiv p$ 对某个固定分布 $p$。那么 $\partial_t p_t=0$，而 $u_t^{\text{target}}=0$（不需要搬运任何质量）。代入 Theorem 17：

这就是Langevin 动力学（Langevin dynamics）（讲义 Eq. 50）。Theorem 17 立刻给出：

即 $p$ 是 Langevin 动力学的平稳分布（stationary distribution）。验证也可以直接做：$u_t=0$ 时，Fokker–Planck 要求 $0=\partial_t p=-\divg\big(p\cdot\frac{\sigma_t^2}{2}\nabla\log p\big)+\frac{\sigma_t^2}{2}\Lap p=-\frac{\sigma_t^2}{2}\divg(\nabla p)+\frac{\sigma_t^2}{2}\Lap p=0$，恒成立。

更有用的是收敛性：讲义指出，在相当一般的条件下，即使从 $X_0\sim p'\ne p$ 出发，$X_t$ 的分布 $p_t'$ 也会随 $t\to\infty$ 收敛到 $p$。这让 Langevin 动力学成为一个通用的采样算法。

反过来看，本讲的 SDE extension trick 可以理解为「带时间调度的 Langevin 动力学」：$u_t^{\text{target}}$ 负责把分布从 $\simple$ 一路搬到 $\data$，而 $\frac{\sigma_t^2}{2}\nabla\log p_t+\sigma_t\dd{W_t}$ 这一对在每一个时刻做局部的 Langevin 平衡，把粒子重新「摊」回当前的 $p_t$ 上。这就是随机采样具有纠错能力的机理：如果神经网络的误差把粒子推到了 $p_t$ 的低密度区，Langevin 部分会把它拉回来。

Remark 21：GLASS Flows

讲义最后提了一个有趣的补充。SDE 相对 ODE 的显著性质是演化本身带随机性：初值 $X_0$ 不再完全决定 $t>0$ 时的 $X_t$。令人意外的是，通过一个称为 GLASS Flows 的采样技巧，纯 ODE 也可以得到同样的随机转移。这样就能在保持 ODE 高效率（可用高阶数值格式、步数少）的同时，享受 SDE 的随机性（例如配合搜索类算法使用）。

8. Score Matching 与 Denoising Score Matching

到这里，理论上的事情全部办完了：我们知道 SDE 采样需要 $\nabla\log p_t$，也知道它对高斯路径可以从 $u_t^\theta$ 换算。但正如 §4 末尾的警告所说，对一般概率路径没有这样的捷径，必须直接学 $\nabla\log p_t$。本节解决这个训练问题，路线与 Lecture 2 的 flow matching 一字不差。

两个损失函数

引入得分网络（score network）

输入是含噪样本和时间，输出是一个 $d$ 维向量。注意输入输出维度相同，和向量场网络完全一样，所以架构可以直接复用（U-Net、DiT 等，见 Lecture 4）。

最自然的训练目标是score matching 损失：

它显然是我们想要的：最小化它就是让 $s_t^\theta$ 逐点逼近边际得分。但它算不出来——$\nabla\log p_t(x)$ 需要边际密度 $p_t(x)=\int p_t(x\mid z)\data(z)\dd{z}$，那是一个不可解的积分。

可算的替代品是条件得分匹配 / 去噪得分匹配损失（conditional / denoising score matching loss）：

两者的唯一差别：回归目标从边际得分换成了条件得分。而条件得分有闭式解（§2），采样 $z\sim\data$ 就是从数据集里取一个样本，采样 $x\sim p_t(\cdot\mid z)$ 就是加一次高斯噪声。$\mathcal{L}_{\text{CSM}}$ 的每一项都是几行代码就能算出来的。

问题当然是：回归一个「错的」目标，凭什么能学到对的东西？这就是本课的母题 (a)，答案在下面这个定理。

Theorem 22（两个损失的等价性）

讲义对这个定理只写了一句话的证明：「$\nabla\log p_t$（Eq. 38）的公式与 $u_t^{\text{target}}$（Eq. 18）的公式长得一样，所以把 Theorem 12 的证明里的 $u_t^{\text{target}}$ 换成 $\nabla\log p_t$ 即可。」这句话是对的，但它把全部工作留给了读者。下面把这个证明完整写出来。

训练算法

对比一下 flow matching 的训练流程，会发现两者只有第 5 行的回归目标不同：

9. 高斯路径下的 DSM：从 CSM 损失到 DDPM

本节把 $\mathcal{L}_{\text{CSM}}$ 具体化到高斯路径（讲义 Example 23），并说明它与 DDPM 的关系。

代入闭式条件得分

由 §2，$\nabla\log p_t(x\mid z)=-\frac{x-\alpha_t z}{\beta_t^2}$。代入 $\mathcal{L}_{\text{CSM}}$：

$\beta_t\to0$ 的数值灾难与 DDPM 的修正

上式里的权重 $\frac{1}{\beta_t^2}$ 是个定时炸弹：$t\to1$ 时 $\beta_t\to0$，权重趋于无穷，回归目标 $-\epsilon/\beta_t$ 也趋于无穷。用讲义的话说，denoising score matching 只有在加了足够多噪声时才工作。直接照上式训练，靠近 $t=1$ 的少数样本会主导整个梯度，训练崩掉。

Denoising Diffusion Probabilistic Models（Ho et al., 2020）的做法是：把常数 $\frac{1}{\beta_t^2}$ 直接扔掉，并把 score 网络重参数化成一个噪声预测器（noise predictor）

代进去，损失变成

（把 $\beta_t s_t^\theta=-\epsilon_t^\theta$ 代入上一节的 (ii) 式并丢掉 $\frac{1}{\beta_t^2}$ 即得。）这个损失干净得不可思议：回归目标是标准高斯噪声 $\epsilon$，量级恒为 $O(1)$，与 $t$ 无关，不会爆炸。网络的任务是「看着含噪图 $x$ 和噪声等级 $t$，把当初加进去的噪声认出来」。

训练算法（讲义 Algorithm 4）

把上面的推导落成流程：

再次强调：没有任何一步需要模拟微分方程。步骤 4 是一次闭式的加噪，不是 $t$ 步迭代。这就是 simulation-free 的含义。

各种参数化的换算表

综合 §2、§4、§5 的结果，同一个模型可以让网络输出四种不同的量。设 $x=\alpha_t z+\beta_t\epsilon$，记 $W_t=\dot\alpha_t\beta_t-\alpha_t\dot\beta_t$，$a_t=\beta_t^2\frac{\dot\alpha_t}{\alpha_t}-\dot\beta_t\beta_t$，$b_t=\frac{\dot\alpha_t}{\alpha_t}$。四者两两可换算：

四种参数化在无限容量下等价，实际差别在噪声等级两端的信噪比：

这解释了实践中的选择：DDPM 系列在离散步数、噪声不会趋于零的设定下用 $\epsilon$ 预测足够；而想覆盖全时间区间（尤其是高分辨率、蒸馏、少步采样）时，$v$ 预测或向量场预测更稳，这也是 Stable Diffusion 3 一类模型转向 flow matching 参数化的技术原因之一。讲义 Remark 16 那句「从数值/训练稳定性角度看，直接预测后验均值可能是更可取的选择」正是在说这件事。

10. 最小 PyTorch 实现

把前面的公式逐行翻译成代码。目标是二维玩具数据（比如若干个高斯团），网络用 MLP。所有张量形状都在注释里标出。

调度器：$\alpha_t,\beta_t$ 及其导数

对应 §2 的高斯路径定义和 §4 的 $a_t,b_t$。

import math
import torch
import torch.nn as nn

class CondOTSchedule:
    """alpha_t = t, beta_t = 1 - t (讲义 CondOT path)."""
    def alpha(self, t):      return t                    # (bs, 1)
    def beta(self, t):       return 1.0 - t              # (bs, 1)
    def d_alpha(self, t):    return torch.ones_like(t)   # (bs, 1)
    def d_beta(self, t):     return -torch.ones_like(t)  # (bs, 1)

class VPSchedule:
    """alpha_t = sin(pi t / 2), beta_t = cos(pi t / 2)；满足 alpha^2 + beta^2 = 1."""
    def alpha(self, t):      return torch.sin(0.5 * math.pi * t)
    def beta(self, t):       return torch.cos(0.5 * math.pi * t)
    def d_alpha(self, t):    return 0.5 * math.pi * torch.cos(0.5 * math.pi * t)
    def d_beta(self, t):     return -0.5 * math.pi * torch.sin(0.5 * math.pi * t)

def ab_coeffs(sched, t):
    """Proposition 1 的 a_t, b_t：u_target(x) = a_t * score(x) + b_t * x."""
    a_t, b_t_ = sched.alpha(t), sched.beta(t)            # (bs, 1)
    da, db = sched.d_alpha(t), sched.d_beta(t)           # (bs, 1)
    a = b_t_ ** 2 * da / a_t - db * b_t_                 # a_t = beta^2 * adot/alpha - bdot*beta
    b = da / a_t                                         # b_t = adot / alpha
    return a, b                                          # (bs, 1), (bs, 1)

网络：噪声预测器 $\epsilon_t^\theta$

输出维度与输入相同。时间用一组正弦特征嵌入，让网络能分辨不同噪声等级。

class TimeEmb(nn.Module):
    """把标量 t 变成一组正弦特征，避免网络对 t 分辨率不足。"""
    def __init__(self, dim=64):
        super().__init__()
        self.register_buffer("freq", torch.exp(torch.linspace(0, math.log(1000), dim // 2)))

    def forward(self, t):                                # t: (bs, 1)
        ang = t * self.freq                              # (bs, dim//2)
        return torch.cat([ang.sin(), ang.cos()], dim=-1) # (bs, dim)

class EpsNet(nn.Module):
    """epsilon_t^theta : R^d x [0,1] -> R^d，预测被加进去的噪声。"""
    def __init__(self, dim=2, hidden=256, temb=64):
        super().__init__()
        self.temb = TimeEmb(temb)
        self.net = nn.Sequential(
            nn.Linear(dim + temb, hidden), nn.SiLU(),
            nn.Linear(hidden, hidden),     nn.SiLU(),
            nn.Linear(hidden, hidden),     nn.SiLU(),
            nn.Linear(hidden, dim),
        )

    def forward(self, x, t):                             # x: (bs, dim), t: (bs, 1)
        return self.net(torch.cat([x, self.temb(t)], dim=-1))   # (bs, dim)

训练：conditional / denoising score matching

逐行对应 §9 的算法表：采 $z$、采 $t$、采 $\epsilon$、构造 $x_t=\alpha_t z+\beta_t\epsilon$、回归 $\epsilon$。

def train(model, sched, sample_data, steps=20000, bs=512, lr=2e-4, device="cuda"):
    opt = torch.optim.Adam(model.parameters(), lr=lr)
    for it in range(steps):
        z = sample_data(bs).to(device)                   # (bs, dim)  第 1 步：z ~ p_data
        t = torch.rand(bs, 1, device=device)             # (bs, 1)    第 2 步：t ~ Unif[0,1]
        eps = torch.randn_like(z)                        # (bs, dim)  第 3 步：eps ~ N(0, I)

        a_t, b_t = sched.alpha(t), sched.beta(t)         # (bs, 1) 广播到 (bs, dim)
        x_t = a_t * z + b_t * eps                        # (bs, dim)  第 4 步：x_t ~ p_t(.|z)

        # 第 5 步：L_DDPM = || eps_theta(x_t, t) - eps ||^2
        # 等价于 CSM 损失丢掉 1/beta_t^2 权重后的版本（见 §9）
        loss = ((model(x_t, t) - eps) ** 2).sum(dim=-1).mean()

        opt.zero_grad(); loss.backward(); opt.step()     # 第 6 步
        if it % 2000 == 0:
            print(f"iter {it:6d}  loss {loss.item():.4f}")
    return model

换算：从 $\epsilon_t^\theta$ 得到 score 和向量场

对应 §9 的换算表和 §4 的 Proposition 1。

def score_from_eps(model, sched, x, t):
    """s_theta(x) = -eps_theta(x) / beta_t     （§9 换算表第 2 行）"""
    return -model(x, t) / sched.beta(t)                  # (bs, dim)

def u_from_score(sched, s, x, t):
    """u_target(x) = a_t * s(x) + b_t * x      （Proposition 1）"""
    a, b = ab_coeffs(sched, t)
    return a * s + b * x                                 # (bs, dim)

def denoiser_from_score(sched, s, x, t):
    """D_t(x) = E[z|x] = (x + beta_t^2 * s) / alpha_t    （Tweedie 公式）"""
    return (x + sched.beta(t) ** 2 * s) / sched.alpha(t) # (bs, dim)

采样：Euler–Maruyama 模拟 SDE

这是 Theorem 17 的直接数值化。把 $\dd{X_t}=\big[u_t+\frac{\sigma_t^2}{2}s_t\big]\dd{t}+\sigma_t\dd{W_t}$ 离散成步长 $h$：

注意噪声项是 $\sigma_t\sqrt h\,\xi$ 而不是 $\sigma_t h\,\xi$——布朗运动增量的标准差正比于 $\sqrt{\Delta t}$，这是随机积分与普通积分最重要的区别。写成 $h$ 是新手最常犯的错误，它会让噪声在细步长下消失，SDE 退化成 ODE。

@torch.no_grad()
def sample_sde(model, sched, n=2000, dim=2, n_steps=500,
               sigma=lambda t: 0.5, t_end=0.999, device="cuda"):
    """Theorem 17 的 Euler-Maruyama 实现。sigma(t)=0 时退化为 ODE 采样。"""
    x = torch.randn(n, dim, device=device)               # (n, dim)  X_0 ~ p_init = N(0, I)
    ts = torch.linspace(0.0, t_end, n_steps + 1, device=device)

    for i in range(n_steps):
        t = ts[i].expand(n, 1)                           # (n, 1)
        h = (ts[i + 1] - ts[i]).item()                   # 标量步长
        sig = sigma(ts[i].item())                        # 标量 sigma_t

        s = score_from_eps(model, sched, x, t)           # (n, dim)  s_theta(X_t)
        u = u_from_score(sched, s, x, t)                 # (n, dim)  u_theta(X_t)

        drift = u + 0.5 * sig ** 2 * s                   # (n, dim)  漂移 = u + sigma^2/2 * score
        x = x + drift * h                                # 确定性部分
        if sig > 0:
            x = x + sig * math.sqrt(h) * torch.randn_like(x)   # 随机部分：注意 sqrt(h)
    return x                                             # (n, dim)  X_1 ~ p_data

几个实现要点：

• t_end=0.999 而不是 1.0。因为 $\beta_1=0$，$t=1$ 时 score_from_eps 会除零、ab_coeffs 里的 $a_t$ 也退化。这与 §7 常见误区里说的边界现象是同一件事。
• sigma=lambda t: 0.0 就得到 ODE 采样器。同一份代码、同一个训练好的模型，改一个数字就在 ODE 与 SDE 之间切换——这正是 Theorem 17「$\sigma_t$ 是采样时的自由超参数」的代码体现。
• 常见的 $\sigma_t$ 取法有：常数；$\sigma_t\propto\beta_t$（噪声大的地方多搅动）；或在最后若干步退火到 $0$ 以获得清晰样本。哪个更好需要实测，见 §6 的警告。

对拍：两条独立路线应该给出同一个 score

最后给一个自检脚本。§4 说学向量场和学 score 等价，那么分别训练两个网络，它们换算到同一参数化下应当吻合（在数据支撑区域内）。

@torch.no_grad()
def check_conversion(eps_model, u_model, sched, x, t, tol=0.2):
    """把两条路线都换算成 score，比较相对误差。"""
    s_direct = score_from_eps(eps_model, sched, x, t)        # 路线 A：DSM 训练的网络
    a, b = ab_coeffs(sched, t)
    s_from_u = (u_model(x, t) - b * x) / a                   # 路线 B：FM 网络反解（Prop. 1）

    rel = (s_direct - s_from_u).norm(dim=-1) / (s_direct.norm(dim=-1) + 1e-8)
    print(f"median relative error = {rel.median().item():.3f}")
    return rel.median().item() < tol

实测时会看到：在 $t$ 居中的区间里两者高度一致；在 $t\to0$ 处相对误差明显变大，因为 CondOT 调度下 $a_t=\frac{1-t}{t}\to\infty$、$b_t=\frac1t\to\infty$，做 $(u-b x)/a$ 这个减法时发生了严重的相消误差。这不是理论错了，是浮点数的问题——也是 §4 那张 Lab 图里下排最左边一格几乎为空的原因。

本讲小结

讲义 Summary 24 把本节所有结论压成了一页，这里按「对象—公式—说明」重排，可以当速查表用。设高斯路径 $p_t(x\mid z)=\N(\alpha_t z,\beta_t^2 I_d)$，$W_t=\dot\alpha_t\beta_t-\alpha_t\dot\beta_t$。

回到三个母题

(a) 为什么用条件版本训练边际版本？因为条件得分有闭式解而边际得分没有。Theorem 22 证明两个损失只差常数，而背后的机理是「最小二乘回归的最优解是条件期望」——网络被迫在每个 $x$ 上输出所有条件得分的后验平均，而边际化技巧告诉我们那个平均就是边际得分。神经网络的平均化行为替我们完成了那个算不出的积分。

(b) 为什么 ODE 和 SDE 给出同一个边际分布？因为我们主动加了一个精心设计的漂移项 $\frac{\sigma_t^2}{2}\score{t}$ 去抵消噪声造成的扩散。Fokker–Planck 方程把这件事量化：噪声贡献 $+\frac{\sigma_t^2}{2}\Lap p_t$，而 $\divg\big(p_t\cdot\frac{\sigma_t^2}{2}\score{t}\big)=\frac{\sigma_t^2}{2}\Lap p_t$，两者精确相消。要强调的是：相同的只是边际分布 $p_t$，轨迹的联合分布完全不同。

(c) 那个「算不出来」的量怎么变成可算的？看 Theorem 22 证明的第 2 步：交叉项里，边际化技巧引入的分母 $p_t(x)$ 与外层期望的权重 $p_t(x)$ 精确相消。整个证明只发生了这一件事。相消之后，剩下的三重积分可以直接读成「先采 $z$、再采 $x$」的期望——完全可采样。

延伸阅读

score-based 生成模型的源头

• Generative Modeling by Estimating Gradients of the Data Distribution (Song & Ermon, 2019) — 首次把「学 score + Langevin 采样」组合成可用的生成模型（NCSN）。本讲 §1 关于「score 不依赖归一化常数」和 §7 的 Langevin 部分，思想都出自这里。
• Score-Based Generative Modeling through SDEs (Song et al., 2021) — 把离散扩散与 NCSN 统一进连续时间 SDE 框架，并给出对应的 probability flow ODE。本讲 §6–§7 是这篇论文核心结论的教学版重述，想看原始表述必读。
• A Connection Between Score Matching and Denoising Autoencoders (Vincent, 2011) — denoising score matching 的原始出处，比扩散模型早了近十年。Theorem 22 就是它的连续时间版本。

DDPM 一脉

• Denoising Diffusion Probabilistic Models (Ho et al., 2020) — §9 里那个丢掉 $\frac{1}{\beta_t^2}$、改用噪声预测器的做法出自这篇。读它的目的是理解「简化损失」这个工程决定为什么如此关键。
• Deep Unsupervised Learning using Nonequilibrium Thermodynamics (Sohl-Dickstein et al., 2015) — 扩散模型的真正起点，从非平衡热力学出发。看完本讲的 Fokker–Planck 部分再读，会发现它的物理语言和我们的 PDE 语言是一回事。
• Progressive Distillation for Fast Sampling of Diffusion Models (Salimans & Ho, 2022) — $v$-prediction 的出处。配合 §9 的换算表读，可以看清各种参数化之间的关系不是玄学而是代数。

参数化、调度与采样器设计

• Elucidating the Design Space of Diffusion-Based Generative Models (Karras et al., 2022) — 把预处理、噪声调度、损失加权、采样器全部拆成正交的设计维度逐一消融。本讲 §6 说的「最优 $\sigma_t$ 要实测」，这篇给出了系统的实测方法论。
• Flow Matching for Generative Modeling (Lipman et al., 2022) — Lecture 2 的主参考。回头看它的第 3 节，会发现 CondOT 路径和本讲的转换公式完全对应。
• Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (Esser et al., 2024) — Stable Diffusion 3 的论文，实证比较了各种路径与参数化。是「为什么工业界从 $\epsilon$-预测转向向量场预测」的一手证据。

Langevin 与采样理论背景

• Analysis of Langevin Monte Carlo via Convex Optimization 一类工作 — 想知道 §7 里「在温和条件下 $p_t\to p$」的「温和条件」具体是什么、收敛速度如何，从 Langevin Monte Carlo 的收敛性分析入手。
• Maximum Likelihood Training of Score-Based Diffusion Models (Song et al., 2021) — 把 score matching 损失与数据对数似然的界联系起来，回答了「最小化 DSM 到底在优化什么统计量」。