缩放定律（下）：真实模型是怎么做缩放分析的

0. 本讲导读

上一讲（Lecture 09）建立的是缩放定律的理论骨架：为什么损失对参数量、数据量呈幂律；联合定律 $L(N,D)=E+A N^{-\alpha}+B D^{-\beta}$ 长什么样；Chinchilla 的三种拟合方法（最小损失包络、IsoFLOP 抛物线、参数化联合拟合）分别怎么做；tokens/param $\approx 20$ 是怎么来的；Kaplan 与 Chinchilla 为什么会分歧；muP 的规则表长什么样。那一讲的落脚点是「原理上应该这样做」。

这一讲是同一套工具的工程落地。Tatsu 在开场提了三个非常具体的问题，整堂课就是在回答它们：

• Chinchilla 那一套在真实的大模型训练里真的管用吗？——2022 年以后，公开披露完整缩放分析的模型有哪些，他们照做了没有，结果准不准。
• 拟合缩放定律本身能不能省算力？——Chinchilla 要求每个数据点都从头训到底（不能中途早停），这让拟合成本从 $O(n)$ 变成 $O(n^2)$。有没有办法绕过？
• 该不该为了「好缩放」去挑特定的架构和参数化？——muP、优化器选择、RMSNorm 的可学习增益，这些看似无关的设计决定了你的小规模结论能不能外推。

和上一讲最大的风格差别是：这一讲几乎全是技术报告的一手图表。Tatsu 逐张拆解 MiniCPM 和 DeepSeek 的缩放实验，再横向扫过 Qwen、Kimi K2、Hunyuan、LLaMA 3、MiniMax，最后用两个大规模实证研究（StepFun 的 Step Law、Lingle 的 muTransfer 复现）来检验「超参缩放律」和「muP」这两条路线各自的可信度。

1. 2022 之后：公开配方里的缩放长什么样

这张图本身就是一个结论：缩放分析的细节正在变成商业机密。Chinchilla 之后，DeepMind/OpenAI/Anthropic 一系的模型再没有公开过完整的 IsoFLOP 曲线。今天还愿意把实验图放出来的，主要是中国的几个团队（DeepSeek、面壁 MiniCPM、Qwen、Kimi、腾讯 Hunyuan、MiniMax）和 Meta 的 LLaMA 3。所以这一讲的素材天然偏向这几家。

1.1 为什么这件事非做不可：超参是尺度敏感的

这里要和上一讲的第 10 节接上：Porian 等人已经证明，Kaplan 和 Chinchilla 之间那个著名的 $a=0.73$ vs $a=0.50$ 的分歧，主犯就是超参没有随规模重新调。换句话说，如果你不认真处理超参缩放，你拟合出来的缩放定律本身就是错的——它测量的是「配方失配的程度随规模怎么变」，而不是「模型能力随规模怎么变」。

于是任何一份真实的缩放配方都必须回答三个层次的问题，Tatsu 在最后一页把它们总结为：

1.2 为什么大家都在「过度训练」

上一讲得到的 Chinchilla 结论是 $D^\ast/N^\ast\approx 20$。但本讲将要看到的真实数字是：MiniCPM 联合拟合 $\approx 96$、Hunyuan $\approx 96$（对激活参数）、LLaMA 3 $\approx 39$，而 LLaMA 3 8B 实际训了 15T token，$D/N\approx 1875$。这个系统性的偏离有两个来源，必须分清楚。

来源一：方法论差异。不同团队的 $L(N,D)$ 拟合中 $\alpha$ 与 $\beta$ 的相对大小不同。回忆上一讲的推导：在算力约束 $C=6ND$ 下最小化 $E+AN^{-\alpha}+BD^{-\beta}$，得到

只有当 $\alpha=\beta$ 时比值才是常数。MiniCPM 拟合出的 $\alpha\approx\beta\approx 0.30$，但系数 $C_N=7.54\times10^{-2}$ 远小于 $C_D=2.92\times10^{-1}$——参数比数据「便宜」得多，于是最优点大幅偏向多喂数据。系数的比值直接决定了那个常数，而系数在小规模拟合里是很难测准的。

来源二：推理成本。Chinchilla 的目标函数里完全没有推理。真实部署时的总算力是

其中 $D_{\text{inf}}$ 是模型一生要处理的 token 总量（prompt + 生成）。注意推理项只含 $N$ 不含 $D$：训练时多喂数据是一次性成本，而参数量会永久地按比例抬高每一次前向的开销。对一个要服务上万亿 token 请求的模型，$2N D_{\text{inf}}$ 可以轻松超过 $6ND$。

本讲要看的公开配方里，DeepSeek、MiniCPM、LLaMA 3 都属于「知道 Chinchilla 最优在哪，然后故意往数据侧走」的做法。他们做缩放分析的目的不是照抄最优点，而是知道自己偏离了多远、代价是多少。

2. MiniCPM：用 muP 把超参锁死，再拟合剩下的

MiniCPM（2024，清华/面壁）是 1–2.5B 的小模型，性能对标当时的 7B。Tatsu 明说它「即使在 2024 年也算不上 SOTA」，但选它作为案例的原因是：它的缩放分析做得最细、公开得最完整，几乎是一份可以照做的教科书式配方。

2.1 技术 1：用 muP 稳定缩放

值得单独指出两点。第一，$\text{scale\_depth}/\sqrt{L}$ 这条不是标准 muP（标准 muP 只管宽度），而是深度方向的额外稳定化——残差流的方差会随层数线性累积，除以 $\sqrt{L}$ 把它压回 $\Theta(1)$。第二，整体学习率 $\eta=0.01$ 大得离谱（常规 Transformer 用 $3\times10^{-4}$ 量级），这正是 muP 的特征：二维权重的实际 LR 是 $0.01/m$，$m$ 一大就回到正常范围，而 embedding / norm 这类参数确实可以用大得多的 LR。

2.2 技术 2：固定长宽比，只放大整体尺度

2.3 验证 muP：最优学习率真的稳定吗

这张图的实践含义很重要：muP 把 LR 搜索范围从三个数量级压缩到一个 2–3 倍的窗口，但没有消灭搜索。MiniCPM 最终仍然是在 muP 之上做了一轮小范围扫描才定下 $\eta=0.01$。上一讲第 7.4 节提过这一点，这里是它的实证版本。

2.4 最优 batch size：一张三维扫描图怎么读

这个实验设计值得学：它用 $O(\#\text{batch})$ 次训练，同时得到了所有 $(D, B)$ 组合的损失，因为中间 checkpoint 被复用了。这是本讲反复出现的主题——缩放实验的成本主要花在「不能复用的重复训练」上，凡是能复用中间状态的地方都要复用。

为什么用「损失」而不是「算力」或「参数量」作自变量？这是 OpenAI 的 critical batch size 观点：batch size 的上限由梯度噪声决定，而梯度噪声与模型当前离收敛有多远直接相关，损失恰好是这个距离的度量。这个选择在第 6 节会被 StepFun 的实验重新检验——他们的结论是应该用 $D$ 而不是 $L$。

3. WSD 学习率：把 Chinchilla 拟合的成本从 $O(n^2)$ 降回 $O(n)$

到这里 MiniCPM 已经用 muP 锁死了 LR，用扫描定了 batch。剩下最贵的一件事是模型/数据配比。而这件事贵得非常具体，值得把账算清楚。

3.1 问题：为什么不能早停

3.2 解法：warmup–stable–decay

WSD 的核心洞察是：cosine 之所以不能早停，是因为它把「探索期」和「收敛期」耦合在一条曲线上。WSD 把两者解耦——稳定期负责在高 LR 下探索，衰减期负责把参数收进一个尖锐的极小值。既然衰减期只占 10%，那么一条长度为 $T$ 的稳定期主干，配上 $k$ 条各占 $0.1T'$ 的衰减分支，总成本是 $T(1+0.1k\cdot\text{平均分叉比})$，而不是 $\sum T_i$。

3.3 有了便宜的数据点之后：MiniCPM 的 Chinchilla 分析

4. DeepSeek：不用 muP，直接给超参拟合缩放律

DeepSeek LLM（2024）训了 7B 和 67B 两个模型，在当时的开源模型里性能领先。它的缩放策略和 MiniCPM 形成了一个漂亮的对照：完全不用 muP，而是把「最优 LR」「最优 batch」本身当成待拟合的缩放量。

Tatsu 对这张图的评价是「learning rate fit looks a bit questionable」，这个批评值得展开，因为它是本讲最重要的方法论教学点之一。看右图：灰点在 $10^{16}$–$10^{20}$ 区间里几乎是水平散布的，甚至隐约有阶梯状（因为扫描的 LR 取值是离散的 $\{1\times,2\times,4\times\ldots\}$ 网格）。在这样一团点上强行拟合一条斜率 $-0.125$ 的直线，然后外推 4 个数量级到 $10^{24}$，得到 $4\times10^{-4}$——这个外推的置信度是很低的。

4.1 IsoFLOP：DeepSeek 的模型/数据配比

算一下自洽性：$C = M\cdot D = 4.3\times10^{11}\times 1.04\times10^{12}=4.47\times10^{23}$，与标注的 $4.5\times10^{23}$ 吻合。再把 $M$ 换算成参数量，用 $M\approx 2N$（前向每参数 2 FLOPs）得 $N\approx 2.15\times10^{11}$？这显然不对——DeepSeek 67B 只有 $6.7\times10^{10}$ 参数。差异来自 $M$ 里还包含了 attention 的序列长度项和一些实现细节，说明$M\leftrightarrow N$ 的换算本身就依赖架构和上下文长度，这正是用 $M$ 的理由之一。至于 $D/N$：$1.04\times10^{12}/6.7\times10^{10}\approx 15.5$——DeepSeek 67B 实际上训得比 Chinchilla 还略微「不足」，符合 2024 年初的时间点。

4.2 预测准不准

这张图值得作为「缩放分析该怎么汇报」的模板：拟合用小模型，验证用大模型，把大模型的点画在同一张图上而不是单独说「误差 0.3%」。同时注意 7B 用 MHA、67B 用 GQA——两个不同的注意力架构落在同一条曲线上，这本身是「架构细节对损失缩放影响有限」的一个证据（第 5 节 MiniMax 会正面研究这个问题）。

5. 横向扫描：Qwen / Kimi K2 / Hunyuan / LLaMA 3 / MiniMax

MiniCPM 和 DeepSeek 是两个「讲全了」的样本。剩下几家公开的信息更零碎，但每一家都补上了一个新维度。

5.1 Qwen：只说做了，不说怎么做

Qwen 的重点和 DeepSeek 一致（超参缩放律），但它多做了一件事：用缩放律做 MoE 与稠密模型的等价性预测——给定一个目标稠密模型（如 Qwen2.5-72B），去找参数配置使 MoE 达到同等性能。这是缩放律作为「决策工具」而非「预测工具」的用法。

5.2 Kimi K2：把稀疏度当作一个缩放维度

5.3 Hunyuan-Large：对激活参数做 IsoFLOP

96:1 和 MiniCPM 的 95.6 撞在一起，这大概率是巧合（两者的实验设置、数据、口径都不同），但它确实反映了一个趋势：2024 年之后的公开分析几乎都给出远高于 20 的比值。对 MoE 而言这个数字还有额外含义——因为分母是激活参数而非总参数，所以按总参数算的话比值会低得多。

5.4 LLaMA 3：从算力直通下游指标

5.5 MiniMax-01：用缩放律做架构决策

这是「用小规模对比实验预测大规模胜负」的正确姿势。常见的错误做法是：在 100M 规模上跑架构 A 和 B，A 赢了 0.02 nats，于是宣布 A 更好。问题在于这个差距可能来自：(a) B 的超参没调好；(b) A 在小规模有优势但缩放指数更差。只有拟合出两条完整的缩放曲线并比较它们的外推交点，结论才有意义。MiniMax 的图里三条线基本平行且贴近，这本身就是结论——线性注意力在缩放意义上没有付出损失代价，于是可以放心地享受它在长上下文推理上的效率红利。

5.6 两条配方路线的总结

6. Step Law：把「LR/batch 该怎么缩放」当成科学问题来做

前面所有配方都在回答同一个问题——随规模变化时 LR 和 batch 该怎么设——但每家给的函数形式都不一样，而且都只有几十到几百个数据点。StepFun 的大规模缩放律研究（Step Law）把这件事做成了一个受控实验。

读这张表要抓住三点。第一，$\eta$ 和 $B$ 应该是 $N$ 和 $D$ 的分离函数，而不是 $C$ 的函数。$C=6ND$ 把两个自由度压成一个，损失了信息——同样的 $C$ 可以由「大模型少数据」或「小模型多数据」实现，两者的最优超参不同。第二，batch size 只依赖 $D$（Step Law 里 $B=0.58D^{0.571}$，完全没有 $N$）。第三，$\eta$ 对 $N$ 是负指数（$-0.713$，模型越大 LR 越小），对 $D$ 是正指数（$+0.307$，训得越久 LR 越大）。

6.1 观察 1：损失关于 (LR, batch) 是凸的

这个结论听起来平淡，但它是整个「超参缩放律」事业的前提。如果损失曲面在超参空间里是多峰的、或者有长条形的病态山谷，那么「测出最优点然后拟合它随规模的变化」这套流程根本立不住——你测到的「最优点」会是噪声。凸性还意味着你可以用少数几个点加二次拟合来定位谷底，而不必密集扫描（这正是 Chinchilla 方法 2 在 IsoFLOP 曲线上用二次多项式的同一个理由）。

6.2 观察 2：batch 跟 $D$ 走，LR 跟 $N$ 走

6.3 观察 3：这套规律能推广到 MoE 和别的数据配方吗

等高线这种呈现方式本身值得学：它同时展示了最优点在哪和最优区域有多平。看这几张图，内圈都相当宽——在 2 倍的 LR 范围和 2 倍的 batch 范围内损失差别很小。这解释了为什么各家公式虽然形式差异巨大，实际训练效果却都还行（表里 9.5‰ 的相对误差听起来大，但落到损失上是小数点后第三位）。超参缩放律的实际价值不在于把你送到精确最优点，而在于保证你不掉进悬崖。

7. 优化器与规模：为什么「新优化器快 2 倍」多半是假的

优化器是 LLM 训练的核心，也是最容易被规模效应欺骗的地方。Tatsu 在这一节用 Stanford 自家的一篇工作（Wen, Hall, Ma, Liang，Fantastic Pretraining Optimizers and Where to Find Them）系统地拆解「优化器论文的加速比为什么普遍不可信」。

7.1 问题 1：超参根本没调公平

7.2 问题 2：加速比随规模衰减

Tatsu 由此给出一条通用的算法研发准则，值得抄下来：

7.3 问题 2.5：看起来漂亮的缩放也可能炸

这个案例的价值在于它展示了缩放外推的真实失败模式：不是缓慢偏离，而是在拟合区间外某处突然进入不稳定区。原因通常是某个量（激活范数、注意力 logits、梯度范数）在随规模单调增长，在小规模时还在安全范围内，跨过某个阈值后触发数值不稳定。缩放律拟合的是损失，它对这类阈值现象完全无感知。

7.4 Muon：矩阵值参数的优化器

这个「三重证据链」的结构本身就是本节的方法论示范：小规模上测加速比、中规模上测加速比随规模的趋势、大规模上只验证「不炸」。第三点尤其重要——对于一个要投入千万美元训练预算的项目，「有没有人在万亿 token 规模上跑通过」比「加速 1.4×」重要得多。

8. muP 深入：两个条件推出全部规则

上一讲给了 muP 的规则表和最小实现，但没有说这些规则是怎么推出来的。这一节补上推导。理解推导的价值在于：当你的架构偏离标准 Transformer（加了新的 norm、新的激活、新的优化器）时，你能自己判断 muP 还成不成立。

8.1 muP 的两条公理

muP 的全部内容来自对「宽度趋于无穷时网络行为应该保持不变」的两个要求。设第 $l$ 层的宽度为 $n_l$，激活为 $h_l$：

8.2 从 A1 推初始化

8.3 从 A2 推学习率

8.4 小结：muP 与标准参数化的差异到底在哪

所以 muP 和 SP 的差异只有两处：①Adam 下学习率必须按 $1/\text{fan\_in}$ 缩放（SP 保持不变）；②当 fan-out 小于 fan-in 时初始化更小（主要影响输出层/unembedding）。对隐藏层方阵（$n_l=n_{l-1}=d$），初始化两者一致，差别全在学习率上。这就是为什么 MiniCPM 的 muP 清单只有五条——真正需要改的地方确实不多。

9. muP 到底靠不靠谱：大规模复现实验

理论推导假设的是「深度线性网络 + SGD」。真实的 Transformer 有 SwiGLU、RMSNorm、旋转位置编码、weight decay、梯度裁剪——这些都不在推导范围内。Lingle 的《A Large-Scale Exploration of $\mu$-Transfer》系统地逐项检验了 muP 对这些偏离的鲁棒性，这一节就是它的结果。

9.1 基线：muP 确实工作

这张表的读法很重要：「迁移成功」不等于「损失曲线完全一样」，而是「最优点的位置不变」。这正是 muTransfer 需要的全部保证——你在宽度 128 上找到 $2^{-6}$ 最好，就可以直接在宽度 2048 上用 $2^{-6}$，省掉一整轮大模型上的 LR 扫描。

9.2 失败项一：RMSNorm 的可学习增益

class RMSNormNoGain(nn.Module):
    """muP 友好的 RMSNorm：不带可学习 gain。"""
    def __init__(self, eps=1e-6):
        super().__init__()
        self.eps = eps          # 注意：没有 self.weight

    def forward(self, x):
        # x: (..., d_model)
        rms = x.pow(2).mean(-1, keepdim=True).add(self.eps).rsqrt()
        return x * rms


# 对比：常见的带 gain 版本（会破坏 muP 的宽度迁移）
class RMSNormWithGain(nn.Module):
    def __init__(self, d_model, eps=1e-6):
        super().__init__()
        self.weight = nn.Parameter(torch.ones(d_model))   # <-- 这一行是问题所在
        self.eps = eps

    def forward(self, x):
        rms = x.pow(2).mean(-1, keepdim=True).add(self.eps).rsqrt()
        return x * rms * self.weight

9.3 失败项二：基于符号的优化器（Lion）

这个结果和 8.3 节的推导完全一致：muP 的 LR 规则依赖于优化器的更新几何。SGD 得到 $\eta\propto n_l/n_{l-1}$，Adam 得到 $\eta\propto 1/n_{l-1}$，那么纯符号更新（$|\Delta W_{ij}|$ 恒等于 $\eta$，连自适应缩放都没有）自然又是另一套规则。用 Adam 版的 muP 规则去跑 Lion，等于用错了参数化——失败是意料之中的。

9.4 失败项三：强 weight decay

9.5 综合判断：muP 值不值得用

10. 实战检查清单

把整讲的可操作内容整理成一份可以照着做的流程。假设你要训练一个目标算力为 $C_{\text{target}}$ 的模型，手上有大约 $0.1\%\text{–}1\%$ 的算力可以用于缩放实验。

第 0 步：先定口径

• 决定用 $N$（参数量）还是 $M$（每 token 非嵌入 FLOPs）作自变量。推荐 $M$（DeepSeek 做法）——它避开了「算不算 embedding」这个历史包袱，且 $C=MD$ 精确成立。
• 决定损失指标。用 bits-per-byte 而不是 per-token，这样换 tokenizer 时曲线仍可比（MiniCPM 和 DeepSeek 都这么做）。
• 准备一个固定的、不参与训练的验证集，最好覆盖你关心的多个域（MiniCPM 用了 code / 英文 / 中文三套）。

第 1 步：固定架构自由度

• 固定长宽比（$d_{\text{model}}/L$）、head dim（64 或 128）、FFN 倍数。这样「模型大小」变成一维。
• 决定用不用 muP。用：改动只有五条（见 2.1 节），代价是必须去掉 RMSNorm 的可学习增益、控制 weight decay。不用：那就走 DeepSeek 路线，接受要拟合 $\eta_{\text{opt}}(\cdot)$。
• 如果要比较架构（如线性注意力 vs softmax），每种架构各拟合一条完整缩放曲线，比较斜率与截距，不要只比某一个规模上的单点（MiniMax 做法）。

第 2 步：定 LR 和 batch

• 在 2–3 个小规模上做 $(\eta, B)$ 二维网格。利用凸性：每个方向 5–7 个点、按 2 倍间隔就够定位谷底。
• batch size 主要跟 $D$ 走，LR 主要跟 $N$ 走（Step Law）。如果只能省着做，优先扫 LR。
• 复用中间 checkpoint：一次固定 batch 的训练可以同时给出所有 $D$ 值上的数据点（MiniCPM 做法）。
• 记录你用的调度。换调度会让拟合出的超参缩放律失效。

第 3 步：定模型/数据配比

• 换成 WSD 调度。稳定期长跑一条主干，在目标 $D$ 处分叉出 10% 长度的衰减分支。这是把 $O(n^2)$ 变 $O(n)$ 的关键。
• 至少用两种Chinchilla 方法交叉验证（推荐方法 2 IsoFLOP + 方法 3 联合拟合）。三种方法结论差很多时，怀疑那条离群的。
• 拟合时用 Huber loss 在对数空间做（Chinchilla 原文做法），而不是朴素的 curve_fit——幂律拟合对离群点极度敏感，一个发散的 run 能把整条曲线拽歪。
• 报置信区间时如果算出 $\alpha\in(0.454,0.455)$ 这种宽度，那是不确定性估计错了（上一讲 10.3 节）。

第 4 步：验证与防御

• 留出验证：用最大的 1–2 个实验点做留出，看拟合线预测得准不准，并把它画在同一张图上（DeepSeek 做法）。
• 监控尺度不变量：各层激活 RMS、attention logits 最大值、梯度范数——它们在实验阶梯上应该基本恒定。若单调增长，说明参数化不是尺度不变的，外推会在某处炸掉（7.3 节的失败案例）。
• 不要只看 loss：如果关心下游任务，用 LLaMA 3 的两段式（算力→loss 幂律，loss→准确率 S 形）分别拟合。
• 算清部署账：Chinchilla 最优点忽略推理。如果模型要长期服务，故意往数据侧偏（过度训练）几乎总是对的——损失曲面在最优点附近很平，用 0.01 nats 换一半的推理成本是划算的。

本讲小结

一页速查。

公开配方的关键数字

四条最该记住的判断

1. WSD 是这一讲最实用的单点技术。它同时解决三件事：让 Chinchilla 拟合成本从 $O(n^2)$ 降到 $O(n)$、让持续预训练变得自然、性能与 cosine 持平。没有理由不用。
2. muP 是保险而非免调参。它把 LR 搜索范围从三个数量级压到一个 2–4 倍窗口，把「用错 LR」的后果从模型报废降为轻微次优。但它对 RMSNorm 可学习增益、符号型优化器、强 weight decay 不鲁棒，用之前先做三行五列的迁移验证表。
3. 超参缩放律要当量级参考读，不是精确预测。DeepSeek 那条 LR 拟合线在 Tatsu 看来「有点可疑」；各家公式在统一测试下相对误差差一个数量级。好消息是最优区域很平，所以差异的实际代价小——它们的价值在于保证你不掉悬崖。
4. 规模和 Chinchilla 比值是最大的混淆因子。优化器加速比随规模单调衰减（Muon 从 1.4× 到 1.1×）；「新方法有效」的结论在 130M/1× 上几乎必然成立、在 70B/20× 上几乎必然失效。这是本讲最可迁移的方法论。

两条路线的选择

如果你在从零搭一套缩放流程：算力紧、团队小、目标模型不超过 10B → 走 MiniCPM 路线（muP 锁住超参，只做联合拟合，省掉超参扫描）。要外推多个数量级、架构非标准、或已经有成熟的非 muP 代码库 → 走 DeepSeek 路线（不碰参数化，老老实实拟合 $\eta_{\text{opt}}(\cdot)$ 和 $B_{\text{opt}}(\cdot)$，用 IsoFLOP 定规模）。两条路都必须配 WSD。

延伸阅读

本讲逐页拆解的技术报告

• MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies (2024) — 本讲的主案例。WSD 调度的原始出处，也是把 muP 落地清单写得最清楚的一篇（论文 Table 7 就是第 2.1 节那张图）。想自己跑一次完整缩放分析，从这篇开始。
• DeepSeek LLM: Scaling Open-Source Language Models with Longtermism (2024) — 另一条路线的范本。用 $M$（FLOPs/token）代替 $N$ 作 IsoFLOP 自变量这个细节值得单独学；最后那张「小模型拟合、大模型验证」的图是缩放分析的汇报模板。
• The Llama 3 Herd of Models (2024) — 看第 3 节的缩放部分：39:1 的 IsoFLOP，以及「算力 → 归一化 NLL → 下游准确率」的两段式预测，这是公开文献里把 loss 映射到 benchmark 做得最干净的一次。
• Hunyuan-Large (2024) — 把 IsoFLOP 搬到 MoE 激活参数上，96:1。
• MiniMax-01: Scaling Foundation Models with Lightning Attention (2025) — 用缩放律做架构选型的范例：三种注意力各拟合一条前沿再比较，而不是在单一规模上比胜负。
• Kimi K2: Open Agentic Intelligence (2026) — 稀疏度作为独立缩放维度的完整实验。同时也是 Muon 在 15T token 规模上跑通的公开证据。
• Qwen2.5 Technical Report (2024) — 超参缩放律 + 用它预测「多大的 MoE 等价于某个稠密模型」。细节不多，但这个用法值得知道。

方法论与实证研究

• Predictable Scale: Step Law（StepFun，2025） — 第 6 节的来源。七种超参缩放律的统一比较表，以及「损失关于 $(\log\eta,\log B)$ 是凸的」「batch 只依赖 $D$」两个基础结论。做超参缩放必读。
• Fantastic Pretraining Optimizers and Where to Find Them (2025) — Stanford 自家的优化器审计。核心信息：报告的加速比大多来自基线调参不足，且真实收益随规模衰减。第 7 节整节都基于它。
• A Large-Scale Exploration of $\mu$-Transfer (Lingle, 2024) — 第 9 节的来源。逐项检验 muP 对现代 Transformer 组件的鲁棒性，最终在 10B 上验证跨 5000 倍参数量的 LR 迁移。三行五列的迁移验证表格式可以直接抄。
• Cerebras-GPT (2023) — muP 让缩放更「可预测」的早期证据：SP 的实测点在缩放律附近 $\pm1\%$ 震荡，muP 的几乎贴线。
• Training Compute-Optimal Large Language Models（Chinchilla, 2022） — 三种方法的原始出处，以及「cosine 周期必须等于训练长度」那个决定性对照实验。上一讲的主线。
• Scaling Laws for Neural Language Models（Kaplan et al., 2020） — critical batch size 与「batch 是损失的函数」这个观点的出处，MiniCPM 的 batch 分析直接沿用它的框架。

参数化与优化器

• Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer (2022) — muP 与 muTransfer 的原始论文。理论完整但读起来重，建议先读下面那篇。
• A Spectral Condition for Feature Learning (Yang et al., 2023) — 课上称为「muP for babies」的那类可读版本：用谱范数条件重新表述 muP，第 8 节的推导（$\|W\|_\ast$、$\|\Delta W\|_\ast$ 的约束）就是这个视角。
• Muon: An optimizer for hidden layers in neural networks (Jordan, 2024) — Muon 的原始博客，含 Newton-Schulz 迭代的实现细节和 NanoGPT speedrun 的对比数据。
• Decoupled Weight Decay Regularization（AdamW, 2017） — 第 9.4 节高亮的「$L_2$ 正则 vs 解耦 weight decay」区别的出处，理解 muP 为何被强 weight decay 破坏需要这篇。
• Symbolic Discovery of Optimization Algorithms（Lion, 2023） — 第 9.3 节的符号型优化器。它对 weight decay 的最优值是 AdamW 的 6 倍，是「不同优化器需要不同超参」的最佳例证。

把推理成本纳入目标函数

• Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws (2023) — 第 1.2 节那个推导的完整版本。给定预期推理量，求解真正的部署最优 $(N,D)$；结论是推理量大时最优 $D/N$ 会远超 20。这是理解 LLaMA 3 8B 为什么训 15T token 的关键。
• Chinchilla Scaling: A replication attempt (2024) — 上一讲第 10.3 节讲过，但在这一讲的语境下值得重读：它示范了「如何识别一个可疑的缩放拟合」（置信区间宽度不合理、三种方法互相矛盾），正是第 4 节批评 DeepSeek LR 拟合时用的同一套眼光。