数据 · 来源与数据集

0. 本讲导读

这门课到 Lecture 12 为止，已经把「给定数据（given data），如何把一个语言模型训出来并测出好坏」讲完了：分词与架构、优化器与学习率、GPU 与内核、并行化、推理、缩放定律、评测。接下来的两讲把这个前提本身撬开：

我们究竟应该在什么数据上训练？

这是一个被公开文献严重低估、但在工业界被视为最高机密的问题。本讲（Data I）负责回答「数据从哪儿来」，下一讲（Data II）负责回答「拿到之后怎么过滤、去重、配比、合成」。

本讲的脉络非常清楚，可以概括成一条流水线：

活的线上服务（live service）→ 爬取得到的原始数据（raw data）→ 处理后的数据集（processed data）

每一个箭头都不是免费的。第一个箭头卡在技术限制（动态页面、登录墙、robots.txt、反爬）和法律限制（版权、服务条款）上；第二个箭头卡在 HTML 转文本、语言识别、质量过滤、去重这一整套启发式工程上。Percy 全讲反复强调的一句话是：

1. 数据是最被低估、也最决定成败的一环

1.1 一个反证：看看各家公司愿意公开什么

要论证「数据最重要」，最省事的办法是看各大实验室不肯说什么。以开放权重（open-weight）模型的标杆 Llama 3 为例：论文对架构给出了完全透明的描述——层数、隐藏维度、注意力头数、RoPE 底数、GQA 配置一应俱全；训练流程也很详细——学习率调度、并行策略、硬件故障率、甚至 GPU 掉卡统计都写了。

但翻到数据那一节，你会看到这样的内容：

Percy 给出两条保密的理由：

1. 竞争动态（competitive dynamics）。架构上的差异如今已经很小（都是 Transformer + RoPE + SwiGLU + GQA 那一套），真正拉开模型差距的是训练语料的构成与清洗质量。公开配方等于把护城河填平。
2. 版权责任（copyright liability）。一旦逐条列出「我们用了哪些书、哪些新闻站」，就等于给原告递上了一份现成的起诉清单。事实上后面会看到，Meta 之所以被作家们集体起诉，导火索之一正是早期 LLaMA 论文诚实地写出了「Books3」。越透明，法律风险越大——这是当前生态里一个很糟糕的激励结构。

1.2 数据工作的性质变了，但没有变少

在基础模型（foundation model）时代之前，NLP 里的「数据工作」几乎等同于标注：为监督学习准备成千上万条带标签的样本。现在标注的比重大幅下降了（自监督不需要标签），但取而代之的是整理（curation）与清洗（cleaning）：决定收录哪些来源、怎么把 HTML 变成干净文本、用什么规则丢掉垃圾页、怎么去重、各来源按什么比例混合。

1.3 训练的三个阶段：从「多而糙」到「少而精」

现代模型的训练已经不是「预训练 + 微调」两段式，而是至少三段：

Percy 提醒：实际中这些界线是模糊的，阶段数也可能更多（比如长上下文扩展、退火 anneal 阶段、安全对齐阶段各算一段）。但基本趋势非常稳定：

训练越往后走，数据量越小、质量越高。

相应的术语约定是：

• 基座模型（base model）：预训练 + 中训练之后的模型。
• 指令/对话模型（instruct / chat model）：再经过后训练之后的模型。

1.4 一个完整的公开例子：AI2 的 OLMo

业界唯一把三个阶段的数据都完整公开的是 AI2 的 OLMo 2。它是本讲最好的参照物——因为你能真正看到每一格里装的是什么。

本讲剩下的部分就是在回答这三张表背后的问题：这些数据集究竟是什么？它们是怎么被选出来、又是怎么被加工出来的？

2. 从活的互联网到可训练的语料

2.1 「在整个互联网上训练」是一句不准确的话

你经常听到「语言模型是在整个互联网上训练的」。稍微准确一点的说法是「在公开万维网（public world wide web）上」——互联网还包括邮件、P2P、内网等大量非 Web 流量。但即使这样说，仍然不对。

因为 Web 首先是一堆活着的服务器，你能做的只是连上去请求：

$ curl https://cs336.stanford.edu/

你没法「在活服务器上训练」。中间必须有一个爬虫（crawler），它做两件事：

1. 发现网页：从一组种子 URL 出发，顺着超链接扩散；
2. 下载发现到的网页，落盘成静态快照。

而这一步，远远做不到「下载全部网页」。

2.2 爬不到的四类内容

（1）动态内容（dynamic content）。 现在很多站点其实是应用而不是文档：内容由 JavaScript 在客户端渲染，URL 根本不变，你必须点按钮、提交表单、滚动加载才能拿到内容。课上举的例子是 Discord 和 wandb。传统的「GET 一个 URL 拿 HTML」范式对这类站点完全失效。

（2）身份验证（authentication）。 大量高价值内容在登录墙甚至付费墙后面：Facebook、X、LinkedIn、纽约时报。这些「围墙花园（walled gardens）」里沉淀了互联网上最有价值的一部分人类交流，但对爬虫不可见。

（3）技术限制。

• robots.txt：站点声明哪些路径不欢迎爬虫（纽约时报的例子）。注意它是自愿遵守的君子协定，没有强制力。
• 站点可能用 Cloudflare 之类的服务检测并拦截机器人流量，弹出 CAPTCHA。
• 按 IP 或国家封锁。
• 速率限制（rate limit）。

（4）法律限制。

• 服务条款（ToS）可能明文禁止用机器人下载内容。
• 你可能没有复制这些网页（用于训练）的许可——这一点在第 7 节详细展开。

2.3 同意正在消失：网站对爬虫越来越不友好

有一项工作专门度量了这件事的时间趋势（Consent in Crisis, 2024）：作者取出 C4、RefinedWeb、Dolma 这几个常用数据集里的 URL，回头去看这些域名的 robots.txt 和 ToS 在各个年份分别是什么状态。

2.4 当爬虫不守规矩

2.5 影子图书馆：法律灰色地带的巨型语料

影子图书馆（shadow library）在技术上也是 Web 的一部分，但性质完全不同。代表包括 Library Genesis（LibGen）、Z-Library、Anna's Archive、Sci-Hub。它们的共同特征是：

• 无视版权，绕过出版商（如 Elsevier）的付费墙；
• 持续收到下架通知与诉讼，在多个国家被封锁；
• 但通常都能规避管控——换域名、服务器分散在不同司法辖区；
• 规模惊人：LibGen 约 400 万本书（2019）、Sci-Hub 约 8800 万篇论文（2022）。

关于它们的价值判断存在真实分歧：一种观点认为，公共资金资助的科研成果本就应该免费获取，影子图书馆只是在实现这一点；而从法律角度看，这毫无疑问是盗版与版权侵权。这个分歧不是学术清谈——第 7 节会看到，Anthropic 15 亿美元的和解，核心争点正是「获取副本的方式」而非「训练本身」。

3. Common Crawl：公开网页数据的事实标准

既然自己爬这么麻烦，绝大多数人的起点是 Common Crawl——一个 2007 年成立的非营利组织，它替所有人做了爬取这件苦活，并把结果免费公开。今天几乎每一个开源预训练数据集（C4、RefinedWeb、Dolma、FineWeb、DCLM、Nemotron-CC……）的原料都是它。

3.1 规模与节奏

• 大约每月跑一次爬取，每次新增 30–50 亿个网页；
• 不同月份的爬取有重叠，但会刻意追求多样性（不是简单地反复抓同一批热门站点）；
• 历史累计约 3000 亿个页面；
• 具体一次的体量：2026 年 4 月的爬取包含 21.9 亿页、372.2 TB。

那互联网上到底有多少 URL？没人知道确切数字，量级是 $O(10^9)$ 甚至更多（考虑动态 URL 可以说是无穷）。作为对照，Google 自己披露其搜索索引至少 100 PB。

3.2 爬虫是怎么工作的

Common Crawl 使用 Apache Nutch。核心循环朴素得令人意外，就是一个带优先级的图遍历：

# 概念上的爬虫主循环
frontier = PriorityQueue(seed_urls)      # 种子集：至少上亿个 URL
seen = BloomFilter()

while frontier:
    url = frontier.pop()                  # 选择策略决定谁先出队
    if not allowed(url):                  # robots.txt / 黑名单
        continue
    wait_for_politeness(host_of(url))     # 礼貌策略：同一 host 限速
    response = http_get(url)              # 存成 WARC 记录
    store(response)
    for link in extract_links(response):
        if link not in seen:
            seen.add(link)
            frontier.push(link, priority=score(link))

Common Crawl 的种子集本身就有数亿量级的 URL。真正的难点全在那几个策略函数上（这也是网络爬虫这个子领域几十年的积累）：

还有一个贯穿始终的麻烦：URL 是动态的，大量不同 URL 指向本质相同的内容。例如 ?sessionid=、?utm_source=、分页与排序参数、日历页面可以生成无限多 URL。这既浪费爬取预算，又给下游制造海量近重复文档——去重之所以是数据流水线的必备环节，根子在这里。

3.3 三种归档格式：WARC / WET / WAT

Common Crawl 每次爬取会同时发布三种文件，这是使用它时必须先搞清楚的第一件事：

课上重点强调的是 WARC 与 WET 的对立。表面上 WET 更方便——已经是文本了，直接拿去训练即可。但这个「方便」代价极高。

3.4 HTML → 文本：一个被严重低估的决策点

把一个网页变成训练用的纯文本，需要解决所谓样板文本去除（boilerplate removal）问题：一个典型页面里，真正的正文可能只占 DOM 的一小部分，其余是导航菜单、侧边栏、面包屑、页脚、版权声明、"Accept cookies"、"Related articles"、广告位。这些内容在同一个站点的每一页上都重复出现，如果不去掉：

• 模型会把大量概率质量浪费在学习「隐私政策」的措辞上；
• 去重算法会被搅乱（页面之间的相似度被样板文本抬高）；
• 正文的语义连贯性被打断，长程依赖被噪声切碎。

常用的开源抽取器有两个：

• trafilatura：Python 实现，基于一组精心设计的 DOM 启发式（判断哪个节点是正文容器），抽取质量公认较好，能保留段落、标题、列表结构；但速度较慢。
• resiliparse：C++ 实现，速度快得多，适合 PB 级流水线。
• 此外还有 jusText（The Pile 与 Nemotron-CC 使用，见后文）——它的取舍是召回更高、留下的 token 更多。

这个选择有多重要？DCLM 做了一个干净的对照实验：其他环节完全一样，只把「用 WET」换成「用 WARC + resiliparse/trafilatura 重新抽取」。

3.5 PDF：下一座尚未攻克的金矿

网页之外还有一大类高价值文本被困在 PDF 里：教科书、技术手册、政府报告、法律文书、期刊论文。Common Crawl 里本身就抓到了大量 PDF，但长期以来几乎没人认真用，原因是解析太难：

• PDF 是面向排版而非面向内容的格式，它记录的是「在坐标 (x, y) 画这个字形」，不记录阅读顺序；
• 双栏排版、脚注、页眉页脚、表格、图注混在一起，naive 抽取会把两栏的文字交错拼接成乱码；
• 数学公式在文本层里往往彻底丢失，或退化成一串无意义的字符；
• 相当比例是扫描件，只有图像层，必须上 OCR，而 OCR 对公式和表格的错误率很高。

近年的进展是用视觉语言模型（VLM）直接做版面理解与内容重建，把整页当图像输入，输出结构化的 Markdown/LaTeX。沿这条路线构建的大规模 PDF 语料（如 HuggingFace 的 FinePDFs 一类工作）表明，PDF 里蕴含的高质量、长文档、教科书式文本，正是网页语料最缺的东西。这是一个仍在快速演进、值得关注的方向。

4. 专门来源逐个剖析

爬取通用网页只是数据的一半。另一半来自专门来源（specialized sources）——它们通常有官方批量导出通道（不需要爬）、有明确的许可条款、有可用于过滤的元数据，而且单位 token 的信息密度远高于随手抓来的网页。下面按课上的顺序逐个看。

4.1 Wikipedia：干净、有结构、但也有毒

Wikipedia 是一部免费在线百科全书，2001 年创立。截至 2026 年 5 月，361 个语言版本、共约 6700 万篇条目（英语、西班牙语、德语、法语最多）。

它的收录范围是被严格定义的，这正是它质量高的原因：

• 不包含原创思想——不要观点、不要宣传、不要个人主页；一切内容必须可溯源到已发表的可靠来源。
• 收录与否依据「值得关注性（notability）」：必须在可靠来源中获得实质性报道。

谁在写？ 名义上任何人都能编辑，破坏性编辑由管理员回滚。但实际上遵循极端的幂律：极少数维基人贡献了绝大部分内容——课上举的例子是 Steven Pruitt，一个人做了约 500 万次编辑。

获取方式：Wikimedia 每隔几周发布一次完整转储，不需要爬取，而且许可是 Creative Commons。这使它成为几乎每个数据集的标配成分，也是很多质量分类器的「正样本」定义（见后文 CCNet 与 LLaMA）。

4.2 图书：价值最高、法律风险也最高

图书是长文本、高信息密度、经过专业编辑的文本，被普遍认为是最有价值的语料之一。但它也是版权的重灾区。课上按时间顺序给了四个例子：

Smashwords / BooksCorpus。 Smashwords 是 2008 年创立的自出版电子书平台（2024 年约 15 万作者、50 万本书）。BooksCorpus 从上面抓取了标价 0 美元的自出版书，得到 7000 本书、9.85 亿词——这就是 BERT 训练数据里的「Books」。它后来被下架，理由是抓取行为违反了 Smashwords 的服务条款。注意这里的教训：书是免费的（价格为 0），不等于你有权批量下载再分发——ToS 是独立于价格与版权的第三重约束。

Project Gutenberg。 古登堡计划由 Michael Hart 于 1971 年发起，目标是让文学作品更易获取，到 2025 年约有 7.5 万本书，以英语为主。关键特点：只收录已获得版权清理的书，绝大部分属于公有领域（public domain）。派生的 PG-19 收录 2019 年之前的古登堡书籍，常被用作长上下文语言建模的基准。它是「干净合规」的典范，代价是内容偏老——公有领域意味着作者通常已去世多年，语言风格与现代英语有差距，且完全缺失当代知识。

Books3。 Presser 于 2020 年发布，包含 19.6 万本书，来源是影子图书馆 Bibliotik。它收录了大量在版畅销书（Stephen King、Min Jin Lee、Zadie Smith 等），被并入 The Pile，又被 LLaMA 使用。后来因版权侵权与诉讼被下架。Books3 是本讲法律部分的引信：正因为它在 LLaMA 论文里被公开列出，作家们才有了明确的起诉对象。

Books1 / Books2（GPT-3）：OpenAI 只说是「基于互联网的图书语料库」，至今没有披露具体来源，被课上直接称为 mysterious。

4.3 代码：GitHub 与 Software Heritage

代码有用不只是因为要做编程任务——业内广泛流传的一个说法（folklore）是代码数据能提升模型的一般推理能力：代码是显式的、结构化的、有严格因果依赖的长程符号序列，可能教会了模型某种「按步骤执行」的能力。

GitHub：2008 年创立的代码托管服务，2018 年被微软收购。截至 2026 年 5 月有 4.2 亿+ 仓库（其中 2800 万公开）。它的数据有两个层次：

两个必须处理的问题：

• 重复极多：fork、vendored 依赖、复制粘贴的样板代码、node_modules。后面会看到 The Stack 的数字触目惊心——510 亿个文件里只有 50 亿是唯一的。
• 许可证：只有宽松许可（permissive license）的公开仓库可以放心训练，典型是 MIT、Apache-2.0、BSD。GPL 之类的传染性（copyleft）许可要求衍生作品同样开源，用它训模型的法律地位不明确，主流数据集通常直接排除。

Software Heritage：2016 年成立的非营利组织，使命是长期保存人类的软件遗产。它聚合 GitHub、GitLab、Bitbucket、PyPI 等多个来源，只关注仓库本体、不收 issue 与评论。它是 The Stack v2 的数据底座，也是应对「GitHub 是私有公司、政策随时可变」这一风险的公共基础设施。

4.4 论文：arXiv 与 PubMed

arXiv 自 1991 年起提供论文的免费分享与获取，最初只有物理，现已覆盖数学、计算机科学、统计等，累计约 300 万篇投稿。它对语料构建特别友好的几个性质：

• 每篇投稿包含元数据 + PDF + （可选的）LaTeX 源码。有 LaTeX 源码意味着可以绕开 3.5 节讲的 PDF 解析地狱，直接拿到结构化的公式、章节、参考文献——这是 arXiv 对数学能力训练的独特价值。
• 审核很轻（只做基本把关，不是同行评审），所以质量参差，需要额外过滤。
• 许可由作者选择：(i) 保留所有权利，或 (ii) Creative Commons（如 CC-BY）。元数据（标题、摘要）统一是 CC0（放弃全部权利）。
• 支持从 Amazon S3 批量下载，不需要爬。

PubMed Central：生物医学文献库，约 500 万篇论文。它的特殊之处在于制度性开放——受 NIH 资助的研究成果被强制要求公开，因此存在一大批法律状态清晰的全文文献。这是 The Pile 的重要成分，也是模型医学知识的主要来源。

使用 LaTeX 源码时的实际处理（LLaMA 的做法可作模板）：删除注释、内联展开自定义宏、去掉参考文献——否则模型会学到一堆 \newcommand 定义和 BibTeX 条目这类无信息量的噪声。

4.5 问答社区：StackExchange 与 Reddit

StackExchange 是一组用户贡献问答的站点集合，2008 年从 StackOverflow 起步，后来扩展到数学、英语学习、文学等上百个主题。它用声望值（reputation）与徽章激励参与。

它对语言模型的价值有三点，值得单独强调：

1. 格式天然对齐下游应用。「问题 → 答案」的结构本身就非常接近指令微调数据和真实使用场景，模型在预训练阶段就见过大量这种模式。
2. 自带质量信号。投票数、采纳标记、用户声望、标签、评论——这些元数据可以直接用来排序和筛选。LLaMA 的做法就是取 28 个最大的站点，把答案按得分排序。这是「免费的人类反馈」，比任何自动质量分类器都可靠。
3. 可批量下载：官方提供匿名化的 XML 转储，含全部元数据。

Reddit 的角色更特别——它在本讲里出现了三次，扮演三种不同角色：

• 作为质量代理信号：GPT-2 的 WebText 用「Reddit 帖子中被点赞 ≥ 3 karma 的外链」来近似「人类觉得值得一看的页面」（见 5.2 节）。
• 作为内容本身：Dolma 通过 Pushshift 项目收录了 2005–2023 的 Reddit 提交与评论。
• 作为训练分类器的正样本：DCLM 用 ELI5（explainlikeimfive）子版块的问答作为「好数据」的示例（见 6.5 节）。

需要注意的是，Reddit 现在已经关闭了免费 API 并把数据授权给 Google（见 8.2 节）——这是「同意衰退」最典型的案例之一。

4.6 其他值得知道的来源

5. 公开数据集谱系（上）：从 BERT 到 Gopher

接下来把 2019–2021 年间几个奠基性数据集串起来看。它们各自解决了一个具体问题，而且后来的每个数据集几乎都还在用它们发明的东西——C4 的规则、CCNet 的分类器思路、Gopher 的启发式，至今仍是 2026 年数据流水线的默认组件。

5.1 BERT（2018）：文档而非句子

BERT 的训练数据只有两块：Wikipedia + BooksCorpus（见 4.2 节）。数据本身不新奇，但论文里有一个常被忽略、却极其关键的决定：

5.2 WebText（2019）：借用人类的点赞当质量信号

GPT-2 用的数据集叫 WebText，它的构造想法非常聪明：

收录所有被 Reddit 帖子（karma ≥ 3）指向的外部链接所对应的页面。

结果是 800 万个页面、40 GB 文本。

这里的逻辑是：与其自己写规则判断「这个网页好不好」，不如借用已经存在的人类判断——有人愿意把它发到 Reddit，并且至少有三个人点了赞，说明它至少对某个人是有价值的。这是用社交信号做质量代理（surrogate for quality）的开山之作，直接影响了后来所有基于「人类偏好数据训分类器」的过滤方法。

WebText 本身从未公开，于是有了 OpenWebTextCorpus（Gokaslan & Cohen, 2019）这个开源复现：

1. 从公开的 Reddit 提交数据集里抽取所有 URL；
2. 抓取页面，用 Facebook 的 fastText 分类器过滤掉非英文；
3. 删除近重复（near duplicate）文档。

注意这三步——语言识别 + 去重——从此成为所有网页数据流水线的标准起手式。

5.3 CCNet（2019）：第一个「自动质量过滤」的完整方案

CCNet（Facebook）的目标是：找到一种自动化的方式，从 Common Crawl 里构造出大规模高质量数据集。它特别关心的动机是低资源语言（论文里点名乌尔都语）——对这些语言来说，Wikipedia 太小了，唯一的希望就是从网页爬取里把它们捞出来。

CCNet 由三个组件构成，这个三段式后来被无数次复制：

结果：用 CCNet 数据训出的 BERT 模型，效果优于用 Wikipedia 训练的版本——这是「经过筛选的网页 > 小而精的高质量语料」的早期实证。注意 CCNet 这个名字同时指开源工具和论文发布的数据集，读文献时要区分。

5.4 C4（2019）：规则过滤的教科书

Colossal Clean Crawled Corpus (C4) 出自 T5 论文。这篇论文以「把所有 NLP 任务统一成文本到文本格式」闻名，但 Percy 特别指出：它的一大贡献其实是 C4 这个数据集。

出发点是一个朴素但正确的观察：Common Crawl 里绝大部分东西根本不是有用的自然语言——是菜单、错误页、导航、垃圾站、机器生成的模板文本。

做法：取 2019 年 4 月的一个 Common Crawl 快照（约 1.4 万亿 token），然后套一组纯手工规则：

# C4 的核心启发式规则（概念示意）
def keep_line(line):
    return line.endswith(('.', '!', '?', '"')) and len(line.split()) >= 5

def keep_page(page):
    if count_sentences(page) < 3:            return False   # 太短
    if any(w in page for w in BAD_WORDS):    return False   # 脏词表
    if '{' in page:                          return False   # 疑似代码/JS
    if 'lorem ipsum' in page.lower():        return False   # 占位文本
    if 'terms of use' in page.lower():       return False   # 样板法务文本
    if langdetect(page)['en'] < 0.99:        return False   # 只要英语
    return True

逐条解释这些规则在防什么：

• 「以标点结尾且至少 5 个词」：这是在筛句子。导航项（"Home About Contact"）、按钮文字、表格单元格都过不了这一关。
• 「少于 3 句话的页面整页丢弃」：404 页、纯图片页、跳转页。
• 脏词表：粗暴的成人内容过滤。
• 含 { 就丢：目的是排除 JavaScript 和代码。注意这条规则的副作用——C4 里几乎没有代码，而我们现在知道代码对推理能力很重要。这是「过滤规则会无意中删掉宝贵内容」的经典案例。
• 「lorem ipsum」「terms of use」：占位文本和法务样板。
• langdetect 且 $p(\text{en}) > 0.99$：极其严格的英语阈值。代价是大量代码切换（code-switching）文本、非英语母语者写的英语、以及所有非英语内容被一刀切掉。对比 FineWeb 后来放宽到 $p(\text{en}) > 0.65$。

结果：从 1.4T token 筛到 806 GB 文本（约 1560 亿 token）——留存率大约只有十分之一。

C4 里究竟有什么？

后续有一篇专门的审计工作（Documenting Large Webtext Corpora，2021），把 C4 的域名分布、内容来源、被过滤掉的内容都摊开来看，结论很有教育意义：

• token 数排名靠前的域名里，专利数据库（patents.google.com）常年占据首位，其次是 Wikipedia、各大新闻媒体（NYT、LA Times、Guardian）、期刊（PLOS）等。也就是说，你以为的「互联网众声喧哗」，实际上被少数几个巨型站点主导。
• 其中有相当比例的专利文本是机器翻译的（非英语专利的官方英译），甚至有 OCR 错误——这些都堂而皇之地通过了 C4 的全部规则。
• 脏词表过滤造成了系统性的人群偏差：它不成比例地删除了与 LGBTQ+ 相关的内容，以及非裔美国人英语（AAE）等方言写成的文本——因为这些社群的日常用语中包含被列入表中的词汇（很多是被重新赋义的中性词）。一个为「安全」设计的规则，实际效果是把某些人群从模型的世界里抹掉了。

一个有价值的旁证

T5 论文还做了一个 WebText 风格的对照数据集：只保留那些出现在 OpenWebText 链接列表（Reddit ≥ 3 karma）中的页面。结果是——他们需要用 12 个 Common Crawl dump 才凑出 17 GB 文本，而原版 WebText 有 40 GB。

这个数字很重要，它直接说明：Common Crawl 对 Web 的覆盖是不完整的。同一批 URL，OpenAI 自己爬能拿到 40 GB，从 12 个月的 Common Crawl 里只能捞回 17 GB。（顺带一提，这个 WebText 风格子集在 GLUE、SQuAD 等基准上确实带来了提升，再次验证了 Reddit 信号的有效性。）

5.5 GPT-3（2020）：分类器过滤 + 模糊去重

GPT-3 的数据由四部分构成：

• Common Crawl（经过处理）
• WebText2：WebText 的扩展版，收录了更多链接
• Books1、Books2：「基于互联网的图书语料库」，来源至今成谜
• Wikipedia

总计 570 GB（约 4000 亿 token）。

它对 Common Crawl 的处理有两个关键动作，都成为了后世标配：

1. 训练质量分类器：把 {WebText, Wikipedia, Books1, Books2} 当作正样本，把未经处理的 Common Crawl 当作负样本，训一个二分类器，然后用它给全部 CC 文档打分并筛选。这就是「用已知的好数据定义什么叫好」这一范式的正式确立——四年后 DCLM 用的还是同一个套路，只是把正样本换成了指令数据。
2. 模糊去重（fuzzy deduplication）：在文档级别去重，并且把 WebText 和各个评测基准也放进去一起去重——后者是为了防止测试集污染（参见 Lecture 12 关于污染的讨论）。

5.6 The Pile（2021）：草根社区的多样性宣言

The Pile（EleutherAI）诞生于对 GPT-3 的直接回应：既然 OpenAI 不开源，我们自己造一个。它是一场草根努力，大量志愿者在 Discord 上协作完成，后来被用于训练 GPT-J、GPT-NeoX 等一系列开源模型。

它的核心主张与 C4 完全相反。C4 说「从网页里洗出干净文本」，The Pile 说「多样性本身就是质量」——于是精心策划了 22 个高质量领域，共 825 GB 文本（约 2750 亿 token）。主要成分包括：

The Pile 的历史地位在于：它第一次把「预训练数据配方」变成了一个可以公开讨论、可以复现、可以批评的对象。它的 22 个领域清单，事实上定义了此后所有开源数据集的成分框架。

5.7 MassiveText / Gopher（2021）：手工规则的集大成

Gopher（DeepMind，280B 参数）这个模型本身已经被 Chinchilla 取代（两者都从未发布），但 Percy 特意提到它，因为它对数据的描述写得很好，而且它的过滤规则至今仍在被广泛复用。

MassiveText 的成分：MassiveWeb（自建网页爬取）、C4、Books、News、GitHub、Wikipedia。除 MassiveWeb 和 C4 外，其余几项论文都没有给细节（no details）——又一次印证了 1.1 节的观察。

MassiveWeb 的过滤步骤：

• 只保留英语；去重；去除与测试集的重叠（train-test overlap）；
• 质量过滤使用手工规则而非分类器；
• 毒性过滤使用 Google SafeSearch 而非词表——这比 C4 的脏词表精细得多，能避免 5.4 节讲的那种误伤。

课上举的规则例子是「至少 80% 的词必须包含至少一个字母字符」。这条规则在防什么？防的是那些满屏是数字、符号、ID 的页面——价格表、日志转储、Base64 串、股票行情。所谓「Gopher rules」在后续文献里被反复引用，通常指下面这一组：

结果：10.5 TB 文本。但请注意一个耐人寻味的细节——Gopher 实际只训练了 3000 亿 token，也就是这份数据的约 12%。这是 Chinchilla 定律（Lecture 10）出现之前的典型状态：大家囤了远超实际使用量的数据，却把算力全花在了堆参数上。今天的情形正好反过来：数据成了瓶颈，人人都在为「还能上哪儿再找 1T token」发愁。

6. 公开数据集谱系（下）：从 LLaMA 到 Nemotron-CC

2022 年之后，主线出现了一次明显的转向：从「用规则清洗网页」转向「用模型判断质量」，再转向「用模型直接改写数据」。下面五个数据集正好标出了这条轨迹上的每一个台阶。

6.1 LLaMA（2023）：把已有配方组装成 1.2T token

LLaMA 的数据部分没有发明新方法，但它把当时所有已知的好做法组装了一遍，并且完整公开了配方——这份透明度在当时是罕见的（也正是它后来惹上官司的原因）：

结果：1.2 万亿 token。

复现：Together 发布了 RedPajama v1，严格按 LLaMA 论文的配方重建了 1.2T token 的开源版本。Cerebras 又在此基础上做了 SlimPajama：用 MinHashLSH 做全局去重，把 1.2T 压到 627B token。注意这个比例——接近一半的内容是重复的，这就是下一讲要讲的去重问题的分量。

6.2 RefinedWeb（2023）：只用网页就够了

RefinedWeb（TII，用于训练 Falcon）提出了一个当时颇具挑衅性的论点：

Web data is all you need. 只要把网页数据洗得足够干净、去重得足够彻底，就不需要那些精心策划的高质量语料（书、论文、代码）。

做法：

• 用 WARC 而不是 WET，用 trafilatura 做正文抽取；
• 过滤使用 Gopher 规则；
• 刻意避免基于机器学习的过滤，理由是「避免引入偏见」（回顾 5.3 节：以 Wikipedia 为参考的分类器会系统性排斥某些文体和人群）；
• 在 5-gram 上做 MinHash 模糊去重，去重力度非常激进。

论文最终发布了 6000 亿 token（内部构建了 5 万亿）。它的历史意义在于确立了「大规模 + 高质量抽取 + 激进去重」这条纯网页路线的可行性。

6.3 FineWeb（2024）：把复现做成了改进

FineWeb（HuggingFace）起初只是想复现 RefinedWeb，最后做得更好，并且把每一步消融实验都公开了——它的技术博客本身就是学习数据流水线最好的教材之一。

• 使用 95 个 Common Crawl dump（对比 C4 只用 1 个）；
• URL 级过滤（先按域名黑名单和 URL 模式砍掉一批，这一步几乎免费）；
• 语言识别：保留 $p(\text{en}) > 0.65$——比 C4 的 0.99 宽松得多，保住了大量非母语者写的英语和混合语言文本；
• 过滤：Gopher 规则 + C4 规则 + 额外的手工规则；
• MinHash 模糊去重（关键发现之一：逐 dump 去重比全局去重效果更好，因为全局去重会把在多个 dump 里反复出现的高质量页面误杀）；
• PII 匿名化：替换邮箱地址和公网 IP。

结果：15 万亿 token——这是当时公开可得的最大规模英文网页语料，也正好是 Llama 3 的训练量级。它的衍生版 FineWeb-Edu 用「教育价值」打分器筛选出高教育价值子集，成为后来 Nemotron-CC 的对比基线。

6.4 Dolma（2024）：完全开放的 3T token

Dolma（AI2）是 OLMo 的训练数据，它的定位不是「最大」或「最优」，而是最透明：数据、工具链、文档、决策记录全部公开，允许任何人审计和复现。

成分上它回归了 The Pile 的多样性路线：

• Reddit：来自 Pushshift 项目（2005–2023），提交与评论分开收录（两者的文体和用途不同）；
• peS2o：Semantic Scholar 的 4000 万篇学术论文；
• C4、Project Gutenberg、Wikipedia / Wikibooks；
• Common Crawl（主体）。

Common Crawl 的处理流程：

1. 语言识别：fastText，只留英语；
2. 质量过滤：Gopher + C4 规则；同样明确避免基于模型的过滤（与 RefinedWeb 的立场一致）；
3. 毒性过滤：规则 + Jigsaw 分类器；
4. 去重：Bloom filter——一种在超大规模下做精确重复检测的空间高效方案（用可控的假阳性率换取 $O(1)$ 内存开销）。

结果：3 万亿 token。

6.5 DCLM（2024）：把数据处理变成一门可比较的科学

DataComp-LM 的目标和前面几个都不一样。它不只想发布一个好数据集，而是想建立一个标准化的基准，让不同的数据处理算法可以被公平比较——固定住模型架构、参数量、训练 token 数，只让参赛者改数据，看谁的下游分更高。

它提供两样东西：

• DCLM-pool：处理过的 Common Crawl，240 万亿 token（迄今最大的公开原料池）；
• DCLM-baseline：用质量分类器从 pool 里筛出的 3.8 万亿 token。

基于模型的过滤（model-based filtering）

DCLM 最重要的发现来自它的质量分类器设计。训练一个 fastText 二分类器，关键在于正负样本怎么选：

6.6 Nemotron-CC（2024）：过滤过头了，用合成把 token 找回来

Nemotron-CC（NVIDIA）从一个相反的方向发问：

FineWeb-Edu 和 DCLM 过滤得太狠了——它们扔掉了 90% 的数据。我们需要更多 token，但又不能牺牲质量。

为什么这是个真问题？回顾 Chinchilla 定律（Lecture 10）：更大的模型需要成比例更多的 token。当你要训一个万亿参数级模型时，3.8T token 根本不够，你会被迫在同样的数据上跑很多个 epoch，收益递减。Nemotron-CC 的三招是：

（1）换抽取器。 HTML→文本改用 jusText 而非 trafilatura，理由很直白：它返回的 token 更多。这是一次明确的召回/精度权衡——trafilatura 抽得更干净但更保守，jusText 更宽松但保留了更多可用文本。

（2）分类器集成（ensembling）。 不依赖单一质量分类器，而是把多个信号合起来：

• 提示 Nemotron-340B-instruct 给 FineWeb 文档按教育价值打分，再蒸馏（distill）成一个小而快的模型，以便在全量数据上跑；
• 叠加 DCLM 的分类器。

集成的意义在于：不同分类器的偏见方向不同，取交集会过度保守，而合理集成能在不损失质量的前提下提高召回。

（3）合成数据改写（synthetic rephrasing）。 这是最有意思的一招，而且是双向的：

• 对低质量数据：用语言模型改写，把结构混乱、口语化、错别字连篇的文本重写成通顺的表述——把原本会被扔掉的数据救回来；
• 对高质量数据：用语言模型生成任务——从文档中衍生出问答对、关键信息抽取、知识列表等——把同一份内容的价值榨得更干净。

结果：6.3 万亿 token（其中高质量子集 1.1T）。 作为参照，课上给出的数字是 Llama 3 训练了 15T，Qwen3 训练了 36T。

6.7 大对比表

7. 代码与数学：高价值垂直语料

网页语料之外，代码是被单独投入最多工程的垂直领域。原因不只是「要让模型会写代码」——前面提到的 folklore 是代码能提升一般推理能力。一个合理的解释是：代码是形式严格、依赖显式、可执行验证的长序列，它逼迫模型学会追踪变量状态、遵守语法约束、按步骤展开——这些正是链式推理需要的能力。

7.1 The Stack（2022）：许可证驱动的代码语料

The Stack（BigCode 项目）的构建流程：

1. 从 GitHub Archive（2015–2022）的事件流里取出所有仓库名——注意这里的巧思：不去爬 GitHub 网页，而是从事件日志里恢复仓库列表；
2. git clone 了 1.37 亿个仓库，得到 510 亿个文件；
3. 去重后只剩 50 亿个唯一文件；
4. 用 go-license-detector 检测许可证，只保留宽松许可（MIT、Apache 等）；
5. 用 MinHash + Jaccard 相似度去除近重复；
6. 结果：3.1 TB 代码。

7.2 The Stack v2（2024）：不只是代码文件

The Stack v2 的关键升级是把「代码」的定义扩大到整个软件工程生态：

• 仓库来自 Software Heritage（而非直接从 GitHub 拉）——更稳定的公共基础设施，也更好地处理了长期保存与归属；
• issue、评论、Pull Request 来自 GitHub Archive——这些是「人类如何讨论和修改代码」的记录，价值不亚于代码本身；
• 文档来自网站爬取：PyPI、npm、devdocs.io 等；
• 处理：去除二进制文件、恶意软件、机器人产生的内容，去重，PII 脱敏，对 PR 做下采样；
• 一个有趣的技巧：把小众语言（如 Nim）的源码与它编译出的 LLVM 中间表示配对——用一个共享的低级语言当「枢轴」，把高资源语言上学到的语义迁移到低资源语言上；
• 直接并入已有的高价值数据集：GSM8K、编程竞赛题、StackOverflow、arXiv、Wikipedia、OpenWebMath。

Pull Request 怎么变成训练数据？

这是一个很好的「结构化对象 → token 序列」的案例。一个 PR 是一棵树：多轮 commit、多个文件的 diff、行内评论、CI 状态、审阅意见、最终合并结果。要喂给语言模型，必须线性化（linearize）成一个序列。

7.3 数学语料

数学的处境与代码类似但更窘迫：高质量数学文本在互联网上极其稀缺，而且最难解析。主要来源与难点：

把这些放在一起看，可以得到一条贯穿本讲的观察：越是高价值的语料，越是被困在难解析的格式里（PDF、LaTeX、MathML）或难获取的位置（付费墙、版权书）。这既解释了为什么各家愿意在数据工程上投入巨大人力，也解释了为什么合成数据在 2024 年之后迅速成为主流补充手段。

8. 法律与伦理：什么数据是能用的

这一节回答 2.2 节留下的问题：哪些数据在法律上可以用来训练？ Percy 在课上花了相当篇幅讲版权法，理由很实在——如果你要真的构建一个模型并发布它，这些不是背景知识，而是会决定项目生死的约束。

8.1 版权法的基本框架

知识产权法（intellectual property law）的立法目标是激励知识产品的创造——给创作者一段时间的垄断权，让创作有经济回报。四大类型：版权（copyright）、专利（patents）、商标（trademarks）、商业秘密（trade secrets）。语言模型主要涉及版权。

版权法的历史与要点：

• 可追溯到 1709 年英国的 安妮法令（Statute of Anne）——第一次由政府与法院来规制复制权。
• 美国现行的是 1976 年版权法，保护对象是「固定在任何有形表达媒介上的原创作品，无论该媒介现已知晓或日后开发，只要作品可借助机器或装置被感知、复制或以其他方式传达」。

几条对我们特别重要的推论：

8.2 路径一：许可（license）

许可来自合同法，由许可人（licensor）授予被许可人（licensee）。Percy 给了一个非常好记的定义：

「许可，本质上就是一个不去起诉你的承诺。」

知识共享（Creative Commons）许可让受版权保护的作品可以被自由传播。它由 Lawrence Lessig 与 Eric Eldred 于 2001 年创立，目的是在「公有领域」和「全部权利保留」这两个极端之间搭一座桥。使用 CC 许可的内容包括：Wikipedia、MIT 开放课程、可汗学院、Free Music Archive、Flickr 上的 3.07 亿张图片、MusicBrainz 的 3900 万张图片、YouTube 上的约 1000 万个视频。

另一条路是花钱买。近年主要的数据授权交易包括：

• Google 与 Reddit；
• OpenAI 与 Shutterstock（图像）；
• OpenAI 与 StackExchange。

这条趋势与 2.3 节的「同意衰退」是同一枚硬币的两面：公开可爬的数据在减少，付费授权的数据在增加。对资金充裕的公司这是可解的问题；对学术界和小团队，这意味着数据获取的门槛正在快速抬高。

8.3 路径二：合理使用（fair use, §107）

美国版权法第 107 条规定了四个判断因素。法院会综合权衡，没有任何单一因素是决定性的：

合理使用的经典例子：

• 你看完一部电影，写一篇剧情摘要；
• 你重新实现一个算法（思想），而不是照抄代码（表达）；
• Google Books 对图书建索引并展示片段——Authors Guild v. Google（2002–2013），法院最终认定属于合理使用。这是模型训练方最常援引的先例。

具体到语言模型，有四条判断要点：

1. 「复制数据」这一步本身就已经可能构成侵权——哪怕你下载下来之后什么都不做。这一点在 Anthropic 案中成了决定性的争点。
2. 训练应当是转换性的：把 TB 级文本压缩进权重、用于生成全新内容，和复制分发原作有本质区别。
3. 模型应当关于一般性的思想（如「巫师」），而不是具体的表达（如《哈利·波特》原文）。这也是为什么去重和抑制记忆化在法律上有意义。
4. 无论版权如何判定，语言模型确实在影响创作者的市场。这是一个独立于法律的伦理与政策问题——即使全部合法，作家和艺术家的生计问题依然存在。

8.4 第三重约束：服务条款

即便你有许可、或能主张合理使用，服务条款（ToS）仍可能施加额外限制。课上的例子很典型：YouTube 的服务条款禁止下载视频，哪怕该视频本身是以 Creative Commons 许可发布的。

把三层约束叠起来看，判断一份数据能不能用需要同时回答：

可以使用?  =  (有许可 OR 属于合理使用)      # 版权层
           AND  不违反服务条款                # 合同层
           AND  遵守 robots.txt / 不损害服务   # 技术与礼仪层
           AND  没有 PII / 隐私问题            # 隐私层

BooksCorpus 的下架正是第二层失守（书免费，但抓取违反 ToS）；Books3 是第一层失守。

8.5 正在进行的诉讼与已成定局的判决

8.6 隐私与 PII

版权之外还有一条独立的约束线：个人可识别信息（personally identifiable information, PII）。网页语料里天然混着邮箱地址、电话号码、家庭住址、身份证号、API 密钥、私钥。风险有两层：

• 记忆化与抽取攻击：模型会逐字背下训练数据中的稀有字符串，攻击者可以通过精心构造的提示把它们套出来。Enron 邮件语料就是一个典型例子——它包含了 150 名真实人物未曾预期会被公开传播的私人通信。
• 监管合规：GDPR 等法规赋予个人「被遗忘权」，而从已训练好的模型权重里「删除」某个人的数据在技术上极其困难（这正是机器遗忘 machine unlearning 这个研究方向的由来）。

现有的缓解手段还很粗糙，本质上都是正则替换：FineWeb 匿名化邮箱与公网 IP；The Stack v2 做 PII 脱敏；BigCode 还提供了让开发者主动退出（opt-out）的机制。这些做法能挡住格式规整的 PII，但对散文中提到的姓名、事件、关系无能为力——这仍然是一个远未解决的问题。

9. 只用合规数据能走多远？Common Pile

把前面三节的结论并起来：

• 互联网上几乎所有内容都受版权保护；
• 其中一部分是宽松许可的；
• 对受版权保护内容的合理使用尚无定论。

于是产生了一个既有实践意义、又有科学意义的问题：

只用宽松许可的数据，能不能训出一个好模型？

Common Pile 就是为了回答它而做的：一个 8 TB 的、全部由宽松许可数据构成的语料库。

9.1 三个不容易的细节

构建这样的数据集比想象中难，因为「宽松许可」这个标签本身就不可靠：

1. 许可洗白（license laundering）：有人把受版权保护的作品重新以宽松许可发布出去——比如把整本书贴到一个 CC-BY 的博客上。这在技术上极难检测，因为你只能看到最终那份声明，看不到内容的真实来源。你依赖的许可可能是别人无权授予的。
2. 集合许可不传递到单个条目：Dolma 整体以 ODC-By 发布，但这只是「对这个数据库集合本身」的许可，并不意味着其中每一份文档都是宽松许可的。这是一个非常容易踩的坑——看到数据集的 license 字段写着开放许可，就以为里面的内容都能随便用。
3. 合成数据的许可地位不明：如果你用 GPT-4（它训练在未授权数据上）生成了一批数据，这批数据的法律地位是什么？目前没有清晰答案。 这个问题非常实际，因为几乎所有现代后训练数据都是这样来的。

9.2 结果：能打，但吃亏在 token 不够

10. 数据规模的现实与讲师的立场

10.1 到底还剩多少 token？

把本讲出现过的数字排在一起，能看出一条相当清楚的曲线：

这张表里藏着本讲最重要的一个推论。高质量英文网页文本的可用量，大致就在 $10^{13}$ token 这个量级——FineWeb 用了 95 个 dump 才做到 15T，而 DCLM 从 240T 的原料里只筛出 3.8T。也就是说：

但 Qwen3 已经训了 36T。这个数字不可能全部来自公开英文网页——它必然包含了大量多语言数据、代码、授权购买的数据，以及合成数据，或者对同一批数据做了多轮 epoch。

10.2 讲师的立场：开放数据生态为什么重要

贯穿全讲，Percy 有一条不加掩饰的价值判断：数据配方的封闭，正在损害这个领域的科学健康度。理由有几层：

（1）没有数据，就没有可复现的科学。 如果 Llama 3 的论文只告诉你架构而不告诉你数据，那么它的结果就是不可复现的——你无法判断某个能力来自架构创新还是某批秘密数据。Lecture 12 讲过测试集污染的问题，而污染这件事在数据不公开的前提下根本无法被检验：你没法证明一个模型的 MMLU 高分不是因为训练集里混进了 MMLU。

（2）数据决定模型的价值观与覆盖面。 5.4 节 C4 审计的结果说明了这一点：一条脏词表规则就能把某些人群从模型的世界里抹掉。如果没人能审计数据，这类问题永远不会被发现，更谈不上修正。

（3）开放数据是学术界唯一的入场券。 学术界买不起授权数据、雇不起百人数据团队，但可以在公开语料上做出真正有价值的方法研究——DCLM 的整个设计（固定模型、只比数据）就是为此服务的。没有公共的数据基础设施，数据研究就只能发生在少数几家公司内部。

这也是为什么本讲花了大量篇幅讲 Dolma / OLMo（AI2）与 Common Pile：它们不是最强的数据集，但它们是唯一完整公开了配方的——数据、工具链、消融实验、决策记录一应俱全，任何人都可以复现、批评、改进。同样精神下的还有 Percy 自己在 Stanford 主持的 Marin 项目：把整个模型开发过程（包括数据决策与失败的实验）在公开仓库里透明进行。

本讲小结

Percy 在课程最后给出的五条总结，值得逐字记住：

速查表

下一讲的接口

本讲回答了「数据从哪儿来」，并且已经反复撞上了下一讲的四个主题——每次都是点到为止：

• 过滤：C4 规则、Gopher 规则、DCLM 分类器——为什么这些方法有效？怎么系统地设计一个过滤器？
• 去重：MinHash、Bloom filter、SlimPajama 的 1.2T→627B——精确去重与模糊去重的算法与代价。
• 配比：OLMo 预训练表里那一列百分比是怎么定的？各来源该按什么比例混合？
• 合成：Nemotron-CC 的改写、Tülu 的指令数据、DCLM 用 GPT-4 生成的正样本——合成数据什么时候有用、什么时候会导致模型崩塌？

延伸阅读

数据集本身（按时间顺序读，能看到方法论的演进）

• CCNet (2019) — 第一个完整的「去重 + 语言识别 + 质量过滤」三段式流水线，至今仍是所有网页数据处理的模板。
• T5 / C4 (2019) — 读第 2 节。手工规则过滤的教科书，那几条规则你今天仍会在各家流水线里见到。
• Documenting Large Webtext Corpora (2021) — 对 C4 的审计。如果只读一篇关于数据偏见的论文，就读这篇：它具体展示了「中立的技术规则」如何造成人群层面的系统性排除。
• The Pile (2021) — 22 个领域的成分清单，是理解「预训练语料该有哪些成分」的最佳索引。
• Gopher (2021) — 看附录里的数据过滤规则，「Gopher rules」被后续所有工作反复引用。
• LLaMA (2023) — 第 2 节。当时最完整公开的数据配方（也因此成了诉讼的证据）。
• RefinedWeb (2023) — 「只用网页就够了」这一论点的完整论证，以及为什么它拒绝使用机器学习过滤。
• FineWeb (2024) — 配套的技术博客把每一个决策的消融实验都做了并公开。想自己动手建数据集的人应该从这里开始。
• Dolma (2024) — 3T token 的完全开放数据集，附带完整工具链与文档，是「开放科学」在数据领域的标杆。
• DataComp-LM / DCLM (2024) — 本讲最重要的方法论论文：把数据处理变成一个可控变量的基准，并证明了目标导向的质量分类器优于一切规则方法。
• Nemotron-CC (2024) — 从相反方向发问：过滤是不是太狠了？给出「最优过滤强度取决于训练预算」这一关键洞见。
• OLMo 2 (2025) — 唯一把预训练、中训练、后训练三个阶段的数据都完整公开的模型。

代码与垂直语料

• The Stack (2022) — 许可证驱动的代码语料构建；那个 51B→5B 的去重比例值得记住。
• The Stack v2 (2024) — 把 PR、issue、文档也纳入进来，并展示了结构化对象如何线性化成训练序列。
• BooksCorpus (2015) — BERT 时代的图书语料，同时也是「免费 ≠ 可以抓」这一教训的来源。

法律、伦理与数据可得性

• Consent in Crisis (2024) — 用数据量化了网站对爬虫的限制如何随时间收紧，尤其是在头部高质量域名上。理解「未来数据从哪来」的必读。
• Common Pile (2025) — 只用宽松许可数据能走多远？连同它对「许可洗白」「集合许可不传递」的讨论一起读。
• Poisoning Web-Scale Training Datasets (2023) — 说明为什么「来源可信」不等于「内容可信」，以及 Wikipedia 转储的时间可预测性如何构成攻击面。
• Will We Run Out of Data? (2022) — 对人类公开文本总量的定量估计，「数据墙」讨论的起点。

基础模型的数据披露（作为反面教材读）

• Llama 3 (2024) — 对照阅读它的架构章节与数据章节，体会 1.1 节讲的那种信息量落差。
• GPT-3 (2020) — 第 2.2 节。质量分类器 + 模糊去重（含基准去污染）这两个后世标配动作的来源。
• Tülu 3 (2024) — 后训练数据配方的完整公开版本，为下一讲的合成数据部分做准备。