feat: publish data engineering chapter

PROGRESS.md

@@ -11,6 +11,7 @@
 | Kimi K3 深读 | 进行中 | 66% | 扩写 pre-training / infra 逐图笔记 |
 | Transformer 基础 | 进行中 | 52% | 矩阵形状动画与手算练习 |
 | Scaling Laws | 完成首版 | 74% | 真实拟合复现、置信区间与更多模型族对照 |
+| 数据工程与预训练配方 | 完成首版 | 73% | FineWeb / DCLM 逐图精读、真实去重误伤与 mixture traces |
 | DeepSeek 专题 | 进行中 | 71% | 补 R1 / DAPO 的逐图训练轨迹与复现对照 |
 | 推理与测试时扩展 | 完成首版 | 76% | 真实模型采样曲线、PRM 案例与逐篇图表精读 |
 | 稀疏计算与 MoE | 完成首版 | 74% | 真实负载 traces 与专家特化案例 |
@@ -29,10 +30,10 @@
 - [x] 提炼参考网站的编辑设计语言。
 - [x] 确认 `git.k1412.top` 为 Gitea/Forgejo 兼容服务且本机 HTTPS 凭据可用于既有仓库。
 - [x] 使用 Grok CLI 检索并形成约 95 篇一手论文的补充路线，主代理已回查关键来源。
-- [x] 完成 182 篇关键论文索引，覆盖 12 个专题与 Kimi/DeepSeek 聚光主线。
+- [x] 完成 202 篇关键论文索引，覆盖 13 个标签专题与 Kimi/DeepSeek 聚光主线。
 - [x] 完成可检索、可按专题筛选的论文库页面。
-- [x] 完成 K3、Transformer 基础、DeepSeek 谱系、Scaling Laws、长上下文、MoE、推理与训练系统八篇首版长文。
-- [x] 完成 K3 三轴架构、Self-Attention、DeepSeek 谱系、长上下文、MoE 路由、推理三页签，以及训练系统与 Scaling 各四页签等十六个原创交互视图。
+- [x] 完成 K3、Transformer 基础、DeepSeek 谱系、Scaling Laws、数据工程、长上下文、MoE、推理与训练系统九篇首版长文。
+- [x] 完成 K3 三轴架构、Self-Attention、DeepSeek 谱系、长上下文、MoE 路由、推理三页签，以及训练系统、Scaling 与数据工程各四页签等二十个原创交互视图。
 - [x] 完成长上下文首版：五张成本账、26 篇一手论文、10+ 机制图与 8 策略交互实验室。
 - [x] 核验 FlashAttention、DeepSeek-V2/V3.2/V4、Kimi Linear/K3 等六份论文原文，并建立长上下文研究账本。
 - [x] 核验 Switch、ST-MoE、DeepSeekMoE、Loss-Free、V3、LatentMoE 与 K3 原文，并建立 MoE 研究账本。
@@ -58,10 +59,18 @@
 - [x] Scaling 真实 Chrome 断言通过：IsoFLOP 谷底、生命周期最优点、重复数据衰减和指标阶跃均正确响应。
 - [x] 对 Scaling、训练系统、推理与 MoE 执行全量浏览器回归；12 项桌面导航、移动菜单和首页新章入口无回归。
 - [x] Scaling 首版以提交 `eff0e4c`、不可变镜像 `20260728T181742Z-eff0e4c` 发布；NAS、VPS/Tailscale、NPM、DNS、HTTPS、证书、12 路由与生产 Chrome 全链路通过。
+- [x] 启动数据工程专题：回查 K3/K2、DeepSeek LLM/Math/V2/V3/V4 数据章节，并将 Grok 线索永久隔离为未核验候选。
+- [x] 建立 1264 行正式研究账本：十二张账、2019→2026 历史主线、DeepSeek/Kimi 双谱系、四实验合同与公开未知项。
+- [x] 完成数据工程首版：18 节长文、31 个一手节点、十余组机制图与流水线—去重—混合—改写四联实验。
+- [x] 论文库新增「数据」标签与 20 个一手节点，从 182 篇扩充至 202 篇。
+- [x] 数据工程真实 Chrome 断言通过：激进过滤、semantic 去重误伤、数学 mixture 和失控合成均正确响应，桌面 / 390px 移动端无溢出。
+- [x] 对 Scaling、训练系统、推理与 MoE 重新执行全量浏览器回归；13 项桌面 / 移动导航和首页数据新章入口无回归。
+- [x] Astro 类型检查、生产构建、13 个页面路由、527 个站内引用和 20 个跨页锚点全部通过。
 
 ## 正在进行
 
 - [ ] Scaling Laws 二轮精读：真实拟合复现、逐篇图表、置信区间、外推失败与更多模型族对照。
+- [ ] 数据工程二轮：FineWeb / DCLM / Dolma / ROOTS 逐图精读、真实去重误伤、mixture traces 与污染案例。
 - [ ] 大规模训练系统二轮：真实集群 traces、故障恢复案例与精确 topology / kernel 配置。
 - [ ] 推理专题二轮：真实 pass@k 曲线、PRM 失败案例与逐篇图表精读。
 - [ ] 长上下文专题的真实模型配置对比、内核细节与失败案例二轮深化。
@@ -98,6 +107,11 @@
 | 2026-07-29 | Scaling 首版用 29 个一手节点和四个独立实验闭环 | IsoFLOP、训练—部署、数据复用与指标涌现分开建模，不合成伪“规模总分” |
 | 2026-07-29 | 论文库随 Scaling 一手链扩充到 182 篇 | 新增早期跨任务幂律、Gopher、数据受限、过训练、部署经济、复现和 task ladder 节点 |
 | 2026-07-29 | Scaling 首版用不可变镜像 `20260728T181742Z-eff0e4c` 发布 | OCI digest `sha256:802e4041…cf83`；保留 `12010→8080`、NPM host 31 / cert 41、门户 order 180 与公开 Forgejo |
+| 2026-07-29 | 数据工程拆成来源、解析、语言、质量、唯一性、污染、混合、变换、Tokenizer、Packing、课程与价值十二张账 | 防止用一个“高质量 Token”标签掩盖单位、误删、治理与课程 |
+| 2026-07-29 | Grok 数据研究包只保留为 `DATA_PRETRAINING_GROK_LEADS.md` | 模型发现候选不越过一手证据门槛；K3 总训练 Token、工业 mixture 和 source map 保持未知 |
+| 2026-07-29 | K2 改写、K3 2.5×、V3/V4 packing 边界在正文主视区显式限定 | 不把早期 SimpleQA 对照外推为普遍定律，不把模型族收益归因给单一数据技巧 |
+| 2026-07-29 | 数据工程首版用四个独立实验闭环 | 文档保留、去重误伤、领域 exposure 与改写课程分开建模，不合成伪“数据质量总分” |
+| 2026-07-29 | 论文库新增数据标签并扩充到 202 篇 | 新增 CCNet、ROOTS、Dedup、DoReMi、DCLM、WRAP、MATES、MM1、Swallow 等 20 个节点 |
 
 ## 未决问题
 

README.md

@@ -17,8 +17,8 @@
 - 持续进度：[PROGRESS.md](./PROGRESS.md)
 - 证据与写作规范：[research/METHODOLOGY.md](./research/METHODOLOGY.md)
 
-当前里程碑包含 16 专题学习地图、182 篇关键论文索引、Kimi K3 完整导读、
-Transformer 基础、DeepSeek 技术谱系、Scaling Laws、长上下文、MoE、推理与训练系统深度专题，
+当前里程碑包含 16 专题学习地图、202 篇关键论文索引、Kimi K3 完整导读、
+Transformer 基础、DeepSeek 技术谱系、Scaling Laws、数据工程、长上下文、MoE、推理与训练系统深度专题，
 以及覆盖核心机制的原创交互实验室。
 其余专题按进度账本持续扩建。
 

package.json

@@ -13,7 +13,8 @@
     "check:moe-browser": "node scripts/check-moe-browser.mjs",
     "check:reasoning-browser": "node scripts/check-reasoning-browser.mjs",
     "check:training-systems-browser": "node scripts/check-training-systems-browser.mjs",
-    "check:scaling-browser": "node scripts/check-scaling-browser.mjs"
+    "check:scaling-browser": "node scripts/check-scaling-browser.mjs",
+    "check:data-browser": "node scripts/check-data-browser.mjs"
   },
   "dependencies": {
     "@astrojs/sitemap": "3.7.3",

research/DATA_PRETRAINING_GROK_LEADS.md

@@ -0,0 +1,203 @@
+# 数据工程与预训练配方 · Grok Discovery Leads
+
+> **未核验线索，不是正式研究账本。**
+>
+> 2026-07-29 使用本机 Grok CLI Headless 扩展候选论文、关键词与视觉方案。  
+> 正式结论只进入 `DATA_PRETRAINING_RESEARCH.md`，且必须回到论文、技术报告、数据卡或作者实现。  
+> Grok 被明确禁止调用子代理；其输出只承担“还有什么值得查”，不承担“事实究竟是什么”。
+
+---
+
+## 1. Grok 建议的十二张候选账
+
+| 账 | 候选问题 | 候选关键词 |
+|---|---|---|
+| L1 来源与治理 | 数据来自哪里，是否允许获取、研究、训练与再分发 | data card、license、consent、robots、provenance、governance |
+| L2 提取与解析 | HTML、PDF、代码与表格怎样变成没有被破坏的文档 | boilerplate removal、DOM、OCR、code parser、structural validation |
+| L3 语言与领域 | 语言识别、领域识别和长尾覆盖怎样度量 | fastText、language ID、domain classifier、long tail |
+| L4 质量过滤 | “高质量”由哪些可观测量定义 | heuristic、classifier、educational value、toxicity、PII |
+| L5 去重 | exact、fuzzy、semantic 各去掉什么，又会误删什么 | hash、MinHash、LSH、embedding、cluster、frequency |
+| L6 混合与采样 | 数据占比怎样变成模型能力的组合 | mixture weight、temperature、upsampling、proxy model、DoReMi |
+| L7 Tokenizer 与 Packing | 文档怎样变成 Token 和训练序列 | BBPE、compression、BPB、best-fit packing、sample mask、FIM |
+| L8 课程与退火 | 不同数据和长度何时进入训练 | curriculum、annealing、mid-training、continual pretraining、WSD |
+| L9 合成与改写 | 重复、改写、翻译和生成数据有何不同 | WRAP、rephrasing、fidelity、teacher bias、model collapse |
+| L10 污染与记忆 | benchmark、隐私和长串复现如何被发现 | decontamination、memorization、extraction、canary |
+| L11 原生多模态 | 图片、视频、OCR、代码渲染怎样与文本共同训练 | caption、interleaved、MM1、native multimodal、coordinate supervision |
+| L12 数据价值 | 哪个样本值得下一个训练 FLOP | influence、gradient matching、DSIR、MATES、JEST、data selection |
+
+这十二张账是 discovery taxonomy，不表示这些问题可以被压缩成一个“数据质量总分”。
+
+---
+
+## 2. 候选历史节点
+
+### 2019–2021：把互联网变成可训练语料
+
+- T5 / C4：Common Crawl 清洗与 text-to-text 统一任务；
+- CCNet：去重、语言识别与近似 Wikipedia 质量过滤；
+- The Pile：22 个异质子语料与明确 mixture；
+- ROOTS / BigScience：多语言、治理、数据卡与协作式语料建设；
+- Gopher：大规模网页质量分类与 mixture 工程；
+- Carlini et al.：训练数据抽取与隐私记忆风险。
+
+### 2022–2023：去重、混合与数据中心化
+
+- Lee et al.：近重复会污染验证集并放大记忆；
+- FIM：预训练数据变换可以增加代码“补中间”能力；
+- DoReMi：用小代理模型学习 domain weights；
+- RefinedWeb：过滤网页数据可以支撑强模型；
+- SemDeDup：embedding 空间中的语义去重；
+- D4：去重之后继续做多样性选择；
+- DSIR：按目标分布重要性重采样。
+
+### 2024：公开数据工程成为可比较实验
+
+- Dolma：3T English Token、开放工具与文档；
+- FineWeb：大规模网页数据的清洗消融；
+- DCLM：统一 pool、模型尺度与评测协议；
+- WRAP：改写网页文档而不是只做原文多 epoch；
+- MATES：模型感知的数据选择；
+- SoftDedup：按频率降权，而非“一刀切”删除；
+- Best-fit Packing：减少文档截断；
+- MM1：多模态数据 mixture 消融；
+- DeepSeek LLM / Math / V2 / V3：全局去重、领域构造、packing、FIM 与训练配方。
+
+### 2025–2026：数据稀缺、合成扩展与超长上下文
+
+- Kimi K2：知识与数学改写、15.5T Token、WSD 与长上下文激活；
+- Swallow：代码与数学合成数据的受控持续预训练；
+- Common Pile：更强调公开许可的数据源组合；
+- Group-MATES：group-level data influence；
+- DeepSeek-V4：过滤批量自动生成 / 模板内容、长文档与 agentic mid-training；
+- Kimi K3：四文本域 + 大规模视觉语料、原生多模态与 8K → 64K → 256K → 1M 课程。
+
+---
+
+## 3. 候选论文池
+
+下面只表示“值得回查”。表中的数字、结论和适用范围尚未因出现在这里而获得证据等级。
+
+| 方向 | 候选来源 |
+|---|---|
+| 网页清洗 | T5/C4、CCNet、RefinedWeb、FineWeb、DCLM |
+| 开放语料 | The Pile、ROOTS、Dolma、Common Pile |
+| 质量分类 | Gopher data pipeline、FineWeb-Edu、DCLM fastText classifier |
+| exact / fuzzy dedup | Lee et al. 2021、SlimPajama、Dolma |
+| semantic dedup | SemDeDup、D4、SoftDedup |
+| mixture | DoReMi、DSIR、Data Mixing Laws、RegMix |
+| packing | Fewer Truncations Improve Language Modeling |
+| FIM | Efficient Training of Language Models to Fill in the Middle |
+| 改写 | WRAP、Swallow、Kimi K2、Kimi K3 |
+| 动态数据价值 | MATES、Group-MATES、LESS、JEST |
+| 污染 | Carlini extraction、Detecting Pretraining Data from LLMs、Contamination Detection |
+| 多模态 mixture | MM1、JEST、Kimi K2.5、Kimi K3 |
+| 长上下文数据 | DeepSeek-V4、Kimi K3、Long-context synthetic retrieval |
+
+---
+
+## 4. 候选视觉
+
+1. **一条文档的生命线**  
+   来源 → 下载 → 解析 → 语言 / 领域 → 质量 / 安全 → 去重 → 污染隔离 → 混合 → 改写 / FIM → Tokenize → Packing → Batch。
+
+2. **去重显微镜**  
+   同时展示 exact hash、shingle MinHash 与 embedding 相似度；拖动阈值观察漏删、误删和长尾损失。
+
+3. **Mixture Studio**  
+   调整 Web / Code / Math / Knowledge / Multimodal 权重；分开展示通用、代码、数学、多语言和平均 loss，不制造“万能能力分”。
+
+4. **改写与重复实验**  
+   对比 raw × epochs、faithful rephrase、错误 rephrase；展示 token utility、事实保真、风格多样性和生成成本。
+
+5. **课程时间轴**  
+   Token 轴上叠加学习率、batch、数据 mixture、context length、FIM 率与 synthetic 比例。
+
+6. **污染火灾图**  
+   benchmark 文档进入训练语料后，按 exact、n-gram、semantic、ground-truth overlap 不同检查器显示不同告警。
+
+---
+
+## 5. 候选互动实验
+
+### 实验 A：Pipeline Ledger
+
+- 输入：抓取量、解析通过率、质量阈值、去重阈值、许可 / PII 隔离策略；
+- 输出：文档数、唯一 Token、各领域保留率、未知来源比例；
+- 必须展示：减少的“量”不自动等于增加的“质量”。
+
+### 实验 B：Dedup Lens
+
+- 输入：exact / fuzzy / semantic 模式、相似度阈值、保留策略；
+- 输出：duplicate precision / recall、benchmark overlap、长尾簇被删比例；
+- 必须展示：同一句模板与真正重复文档不是同一个问题。
+
+### 实验 C：Mixture Studio
+
+- 输入：领域权重、temperature、目标验证集；
+- 输出：各领域 loss / score 的 Pareto 变化；
+- 必须展示：最优 mixture 依赖模型尺度、训练阶段与目标分布。
+
+### 实验 D：Rewrite & Curriculum
+
+- 输入：改写次数、fidelity、重复 epoch、context stage、长文 upsampling；
+- 输出：有效新颖度、错误扩增、训练成本、长上下文覆盖；
+- 必须展示：synthetic token 不是无成本的新事实。
+
+---
+
+## 6. 必须回到原文的高风险数字
+
+- 任意语料的“原始文档数”“最终 Token 数”和过滤保留率；
+- dedup 删除百分比，以及它是按文档、字节还是 Token 计；
+- DCLM、FineWeb、WRAP、MATES、SoftDedup 的作者报告收益；
+- Kimi K2 的 SimpleQA 改写消融；
+- Kimi K2、DeepSeek-V3 / V4 的训练 Token 与 schedule；
+- DeepSeek LLM 91 个 Common Crawl dump 的去重率；
+- DeepSeekMath 的 120.2B corpus 和 500B continual-pretraining mixture；
+- K3 的四文本域、视觉 taxonomy、原生多模态与长上下文阶段；
+- 任何“X 倍更高效”的分母、模型大小、任务和预算。
+
+---
+
+## 7. 已在主代理回查中纠正的风险
+
+1. **K3 没有披露总训练 Token 数。**  
+   `2.78T` 是模型总参数，不是训练 Token；正式报告只描述数据域、pipeline 和训练阶段。
+
+2. **K3 的 `2.5×` 不是某个数据技巧的独立收益。**  
+   报告 §3.2 明确说它来自架构、数据和训练变化共同定义的新模型族，并在 held-out OOD scaling curve 上比较。
+
+3. **K2 改写表不是普遍定律。**  
+   `23.76 → 27.39 → 28.94` 来自 K2 早期 checkpoint、SimpleQA 与三种指定配置；生产中每个 corpus 最多改写两次。
+
+4. **K2 的 WSD 与 K3 的 cosine 不构成简单胜负。**  
+   K3 分别为两种 schedule 独立搜索 peak LR 和 batch 后才报告 cosine 更低；共享超参数会造成不公平比较。
+
+5. **DeepSeek-V3 与 V4 的 packing 边界不同。**  
+   V3 做 document packing 且不使用 cross-sample attention mask；V4 沿用 packing，但改为 sample-level attention masking。
+
+6. **DeepSeek 的工业级语料仍是部分黑箱。**  
+   报告公开阶段、部分总量和消融，但没有完整 source-by-source license map、最终 mixture、过滤阈值与 contamination 清单。
+
+7. **“高质量”不能用 benchmark 提升循环定义。**  
+   必须分别记录分类器目标、人工标注协议、保留率、误删率、长尾覆盖与独立验证。
+
+8. **合成数据会继承生成模型偏差。**  
+   fidelity filter 不能证明事实完全正确，也不能消除风格坍缩、毒性、版权、隐私或污染风险。
+
+---
+
+## 8. 从 leads 晋级正式账本的门槛
+
+候选结论至少满足：
+
+1. 找到稳定的一手入口；
+2. 核对标题、作者、版本与年份；
+3. 读到支持结论的正文 / 表格 / 附录，而不仅是搜索摘要；
+4. 记录实验对象、模型大小、Token 预算、数据与评测协议；
+5. 区分作者报告、独立复现与课程推导；
+6. 明确失败条件与不可外推范围；
+7. 数字能追到表、图、公式或可复现实验；
+8. 无法公开确认的工业细节明确写为“未知”。
+
+这份文件的价值不是“收集得多”，而是把发现阶段与证据阶段永久隔开。

scripts/check-data-browser.mjs

@@ -0,0 +1,249 @@
+import { writeFileSync } from "node:fs";
+
+const cdpPort = process.env.CDP_PORT ?? "9226";
+const baseUrl = process.env.SITE_URL ?? "http://127.0.0.1:4325";
+const pages = await fetch(`http://127.0.0.1:${cdpPort}/json/list`).then((response) => response.json());
+const page = pages.find((entry) => entry.type === "page");
+if (!page) throw new Error(`CDP ${cdpPort} 没有可用页面`);
+
+const socket = new WebSocket(page.webSocketDebuggerUrl);
+await new Promise((resolve, reject) => {
+  socket.addEventListener("open", resolve, { once: true });
+  socket.addEventListener("error", reject, { once: true });
+});
+
+let nextId = 0;
+const pending = new Map();
+const exceptions = [];
+socket.addEventListener("message", (event) => {
+  const message = JSON.parse(event.data);
+  if (message.id && pending.has(message.id)) {
+    const { resolve, reject } = pending.get(message.id);
+    pending.delete(message.id);
+    if (message.error) reject(new Error(message.error.message));
+    else resolve(message.result);
+  }
+  if (message.method === "Runtime.exceptionThrown") {
+    exceptions.push(message.params.exceptionDetails.exception?.description ?? message.params.exceptionDetails.text);
+  }
+});
+
+const command = (method, params = {}) => new Promise((resolve, reject) => {
+  const id = ++nextId;
+  pending.set(id, { resolve, reject });
+  socket.send(JSON.stringify({ id, method, params }));
+});
+const pause = (milliseconds) => new Promise((resolve) => setTimeout(resolve, milliseconds));
+const evaluate = async (expression) => {
+  const result = await command("Runtime.evaluate", { expression, returnByValue: true, awaitPromise: true });
+  if (result.exceptionDetails) throw new Error(result.exceptionDetails.exception?.description ?? result.exceptionDetails.text);
+  return result.result.value;
+};
+const navigate = async (path) => {
+  await command("Page.navigate", { url: `${baseUrl}${path}` });
+  for (let attempt = 0; attempt < 50; attempt += 1) {
+    await pause(100);
+    if (await evaluate("document.readyState === 'complete'")) return;
+  }
+  throw new Error(`${path} 加载超时`);
+};
+const screenshot = async (path) => {
+  const result = await command("Page.captureScreenshot", { format: "png", captureBeyondViewport: false });
+  writeFileSync(path, Buffer.from(result.data, "base64"));
+};
+
+await command("Page.enable");
+await command("Runtime.enable");
+await command("Emulation.setDeviceMetricsOverride", {
+  width: 1440,
+  height: 1100,
+  deviceScaleFactor: 1,
+  mobile: false,
+});
+await navigate("/pretraining/data/");
+await screenshot("/tmp/llm-atlas-data-desktop.png");
+
+const pipeline = await evaluate(`(() => {
+  const root = document.querySelector("[data-data-lab]");
+  const measure = () => ({
+    trainable: root.querySelector('[data-pipeline-metric="trainable"]').textContent,
+    retention: root.querySelector('[data-pipeline-metric="retention"]').textContent,
+    quarantine: root.querySelector('[data-pipeline-metric="quarantine"]').textContent,
+    rows: root.querySelectorAll(".funnel-row").length,
+    tail: root.querySelector('[data-pipeline-slice-label="tail"]').textContent,
+  });
+  const balanced = measure();
+  root.querySelector('[data-pipeline-preset="strict"]').click();
+  return { balanced, strict: measure() };
+})()`);
+
+const dedup = await evaluate(`(() => {
+  const root = document.querySelector("[data-data-lab]");
+  root.querySelector('[data-data-tab="dedup"]').click();
+  const measure = () => ({
+    precision: root.querySelector('[data-dedup-metric="precision"]').textContent,
+    recall: root.querySelector('[data-dedup-metric="recall"]').textContent,
+    falsePositive: root.querySelector('[data-dedup-metric="false"]').textContent,
+    rare: root.querySelector('[data-dedup-metric="rare"]').textContent,
+    rows: root.querySelectorAll("[data-dedup-example]").length,
+  });
+  root.querySelector('[data-dedup-mode="exact"]').click();
+  const exact = measure();
+  root.querySelector('[data-dedup-mode="semantic"]').click();
+  const threshold = root.querySelector('[data-dedup-input="threshold"]');
+  threshold.value = "85";
+  threshold.dispatchEvent(new Event("input", { bubbles: true }));
+  return { exact, semantic: measure() };
+})()`);
+
+const mixture = await evaluate(`(() => {
+  const root = document.querySelector("[data-data-lab]");
+  root.querySelector('[data-data-tab="mixture"]').click();
+  const measure = () => ({
+    weights: [...root.querySelectorAll("[data-mixture-output]")].slice(0, 5).map((item) => item.textContent),
+    epochs: [...root.querySelectorAll("[data-mixture-ledger] small")].map((item) => item.textContent),
+    scores: [...root.querySelectorAll("[data-mixture-slices] strong")].map((item) => item.textContent),
+    rows: root.querySelectorAll("[data-mixture-ledger] > div").length,
+  });
+  root.querySelector('[data-mixture-preset="balanced"]').click();
+  const balanced = measure();
+  root.querySelector('[data-mixture-preset="math"]').click();
+  return { balanced, math: measure() };
+})()`);
+
+const transform = await evaluate(`(() => {
+  const root = document.querySelector("[data-data-lab]");
+  root.querySelector('[data-data-tab="transform"]').click();
+  const measure = () => ({
+    variants: root.querySelector('[data-transform-metric="variants"]').textContent,
+    errors: root.querySelector('[data-transform-metric="errors"]').textContent,
+    cost: root.querySelector('[data-transform-metric="cost"]').textContent,
+    context: root.querySelector('[data-transform-metric="context"]').textContent,
+    stages: root.querySelectorAll("[data-transform-timeline] > div").length,
+    errorDots: root.querySelectorAll('[data-transform-facts] > i[data-kind="error"]').length,
+  });
+  root.querySelector('[data-transform-preset="production"]').click();
+  const production = measure();
+  root.querySelector('[data-transform-preset="risky"]').click();
+  const risky = measure();
+  const firstTab = root.querySelector('[data-data-tab="pipeline"]');
+  firstTab.focus();
+  firstTab.dispatchEvent(new KeyboardEvent("keydown", { key: "End", bubbles: true }));
+  return {
+    production,
+    risky,
+    keyboard: {
+      selected: root.querySelector('[data-data-tab][aria-selected="true"]').dataset.dataTab,
+      visible: root.querySelector("[data-data-view]:not([hidden])").dataset.dataView,
+    },
+  };
+})()`);
+
+const layout = await evaluate(`(() => {
+  const nav = document.querySelector(".top-nav");
+  const meta = document.querySelector(".header-meta");
+  return {
+    documentOverflow: document.documentElement.scrollWidth - document.documentElement.clientWidth,
+    navGap: Number((meta.getBoundingClientRect().left - nav.getBoundingClientRect().right).toFixed(1)),
+    navLinks: document.querySelectorAll(".top-nav a").length,
+    articleSections: document.querySelectorAll(".article-section").length,
+    paperLinks: document.querySelectorAll(".paper-chain a").length,
+    labTabs: document.querySelectorAll("[data-data-tab]").length,
+    views: document.querySelectorAll("[data-data-view]").length,
+  };
+})()`);
+
+await evaluate(`(() => {
+  document.documentElement.style.scrollBehavior = "auto";
+  document.querySelector("[data-data-lab]").scrollIntoView({ block: "start", behavior: "instant" });
+})()`);
+await pause(150);
+await screenshot("/tmp/llm-atlas-data-lab-desktop.png");
+
+await command("Emulation.setDeviceMetricsOverride", {
+  width: 390,
+  height: 844,
+  deviceScaleFactor: 1,
+  mobile: true,
+});
+await navigate("/pretraining/data/");
+await evaluate(`document.querySelector("[data-data-lab]").scrollIntoView({ block: "start", behavior: "instant" })`);
+await pause(120);
+await screenshot("/tmp/llm-atlas-data-lab-mobile.png");
+const mobile = await evaluate(`(() => {
+  const toggle = document.querySelector("#menu-toggle");
+  toggle.click();
+  return {
+    documentOverflow: document.documentElement.scrollWidth - document.documentElement.clientWidth,
+    menuVisible: getComputedStyle(toggle).display !== "none",
+    menuOpen: toggle.getAttribute("aria-expanded"),
+    mobileLinks: document.querySelectorAll("#mobile-nav a").length,
+    selectedTab: document.querySelector('[data-data-tab][aria-selected="true"]').dataset.dataTab,
+  };
+})()`);
+
+await command("Emulation.setDeviceMetricsOverride", {
+  width: 1440,
+  height: 1100,
+  deviceScaleFactor: 1,
+  mobile: false,
+});
+await navigate("/");
+const home = await evaluate(`({
+  documentOverflow: document.documentElement.scrollWidth - document.documentElement.clientWidth,
+  releaseCards: document.querySelectorAll(".release-card").length,
+  firstRelease: document.querySelector(".release-card h2").textContent,
+  firstHref: document.querySelector(".release-card").getAttribute("href"),
+  paperCount: document.querySelector(".hero-stats div:nth-child(3) b").textContent,
+  navLinks: document.querySelectorAll(".top-nav a").length,
+})`);
+
+await navigate("/papers/");
+const papers = await evaluate(`(() => {
+  const button = [...document.querySelectorAll("[data-filter]")].find((item) => item.dataset.filter === "数据");
+  button?.click();
+  return {
+    hasDataFilter: Boolean(button),
+    visible: [...document.querySelectorAll("[data-paper]")].filter((item) => !item.hidden).length,
+    total: document.querySelectorAll("[data-paper]").length,
+  };
+})()`);
+
+const report = { pipeline, dedup, mixture, transform, layout, mobile, home, papers, exceptions };
+console.log(JSON.stringify(report, null, 2));
+
+const numeric = (value) => Number.parseFloat(value);
+const failures = [];
+if (pipeline.balanced.rows !== 5 || pipeline.strict.rows !== 5) failures.push("Pipeline 漏斗阶段数量异常");
+if (numeric(pipeline.strict.retention) >= numeric(pipeline.balanced.retention)) failures.push("激进过滤没有降低文档保留率");
+if (dedup.exact.rows !== 6 || dedup.semantic.rows !== 6) failures.push("去重教学样本数量异常");
+if (numeric(dedup.semantic.recall) <= numeric(dedup.exact.recall) || Number(dedup.semantic.falsePositive) < 1) {
+  failures.push("Semantic 去重没有体现召回—误伤权衡");
+}
+if (mixture.balanced.rows !== 5 || mixture.math.rows !== 5) failures.push("Mixture 五领域账本没有完整渲染");
+if (numeric(mixture.math.scores[2]) <= numeric(mixture.balanced.scores[2])) failures.push("数学强化没有提升教学 Math slice");
+if (numeric(transform.risky.errors) <= numeric(transform.production.errors) || transform.risky.errorDots <= transform.production.errorDots) {
+  failures.push("失控合成没有增加错误副本");
+}
+if (transform.production.stages !== 4 || transform.risky.stages !== 4) failures.push("公开课程阶段数量异常");
+if (transform.keyboard.selected !== "transform" || transform.keyboard.visible !== "transform") failures.push("实验页签键盘导航异常");
+if (layout.articleSections !== 18 || layout.paperLinks !== 31 || layout.labTabs !== 4 || layout.views !== 4) {
+  failures.push("章节、论文或实验数量异常");
+}
+if (layout.navLinks !== 13 || mobile.mobileLinks !== 13 || home.navLinks !== 13) failures.push("全站导航未同步数据工程");
+if (layout.documentOverflow > 0 || mobile.documentOverflow > 0 || home.documentOverflow > 0) failures.push("页面存在横向溢出");
+if (layout.navGap < 0) failures.push(`桌面导航碰撞：${layout.navGap}px`);
+if (!mobile.menuVisible || mobile.menuOpen !== "true") failures.push("移动端菜单不可用");
+if (home.releaseCards !== 6 || !home.firstRelease.includes("一万亿 Token") || home.firstHref !== "/pretraining/data/") {
+  failures.push("首页数据工程新章入口异常");
+}
+if (home.paperCount !== "202") failures.push(`首页论文总数异常：${home.paperCount}`);
+if (!papers.hasDataFilter || papers.total !== 202 || papers.visible < 25) failures.push("论文库数据标签或论文总数异常");
+if (exceptions.length) failures.push(`浏览器脚本异常：${exceptions.join("; ")}`);
+
+socket.close();
+if (failures.length) {
+  failures.forEach((failure) => console.error(`- ${failure}`));
+  process.exit(1);
+}
+console.log("数据工程专题真实 Chrome 断言通过。");

scripts/check-moe-browser.mjs

@@ -177,7 +177,7 @@ if (layout.documentOverflow > 0 || mobile.documentOverflow > 0 || home.documentO
 }
 if (layout.navGap < 0) failures.push(`桌面导航碰撞：${layout.navGap}px`);
 if (!mobile.menuVisible) failures.push("移动端菜单按钮未显示");
-if (home.releaseCards !== 5) failures.push(`首页新章卡数量异常：${home.releaseCards}`);
+if (home.releaseCards !== 6) failures.push(`首页新章卡数量异常：${home.releaseCards}`);
 if (exceptions.length) failures.push(`浏览器脚本异常：${exceptions.join("; ")}`);
 
 socket.close();

scripts/check-reasoning-browser.mjs

@@ -289,7 +289,7 @@ if (layout.documentOverflow > 0 || mobile.documentOverflow > 0 || home.documentO
 }
 if (layout.navGap < 0) failures.push(`桌面导航碰撞：${layout.navGap}px`);
 if (!mobile.menuVisible || mobile.menuOpen !== "true") failures.push("移动端菜单不可用");
-if (home.releaseCards !== 5 || !home.firstRelease.includes("大一点")) failures.push("首页新章入口异常");
+if (home.releaseCards !== 6 || !home.firstRelease.includes("一万亿 Token")) failures.push("首页新章入口异常");
 if (exceptions.length) failures.push(`浏览器脚本异常：${exceptions.join("; ")}`);
 
 socket.close();

scripts/check-scaling-browser.mjs

@@ -269,14 +269,14 @@ if (emergence.paths.some((length) => length < 500)) failures.push("涌现多指
 if (layout.articleSections !== 16 || layout.paperLinks !== 29 || layout.labTabs !== 4 || layout.views !== 4) {
   failures.push("章节、论文或实验数量异常");
 }
-if (layout.navLinks !== 12 || mobile.mobileLinks !== 12 || home.navLinks !== 12) failures.push("全站导航未同步 Scaling");
+if (layout.navLinks !== 13 || mobile.mobileLinks !== 13 || home.navLinks !== 13) failures.push("全站导航未同步 Scaling");
 if (layout.documentOverflow > 0 || mobile.documentOverflow > 0 || home.documentOverflow > 0) failures.push("页面存在横向溢出");
 if (layout.navGap < 0) failures.push(`桌面导航碰撞：${layout.navGap}px`);
 if (!mobile.menuVisible || mobile.menuOpen !== "true") failures.push("移动端菜单不可用");
-if (home.releaseCards !== 5 || !home.firstRelease.includes("大一点") || home.firstHref !== "/scaling/") {
-  failures.push("首页 Scaling 新章入口异常");
+if (home.releaseCards !== 6 || !home.firstRelease.includes("一万亿 Token") || home.firstHref !== "/pretraining/data/") {
+  failures.push("首页数据工程新章入口异常");
 }
-if (home.paperCount !== "182") failures.push(`首页论文总数异常：${home.paperCount}`);
+if (home.paperCount !== "202") failures.push(`首页论文总数异常：${home.paperCount}`);
 if (exceptions.length) failures.push(`浏览器脚本异常：${exceptions.join("; ")}`);
 
 socket.close();

scripts/check-training-systems-browser.mjs

@@ -233,7 +233,7 @@ if (layout.articleSections !== 16 || layout.paperLinks !== 37 || layout.labTabs
 if (layout.documentOverflow > 0 || mobile.documentOverflow > 0 || home.documentOverflow > 0) failures.push("页面存在横向溢出");
 if (layout.navGap < 0) failures.push(`桌面导航碰撞：${layout.navGap}px`);
 if (!mobile.menuVisible || mobile.menuOpen !== "true") failures.push("移动端菜单不可用");
-if (home.releaseCards !== 5 || !home.firstRelease.includes("大一点")) failures.push("首页新章入口异常");
+if (home.releaseCards !== 6 || !home.firstRelease.includes("一万亿 Token")) failures.push("首页新章入口异常");
 if (exceptions.length) failures.push(`浏览器脚本异常：${exceptions.join("; ")}`);
 
 socket.close();

src/components/SiteHeader.astro

@@ -11,6 +11,7 @@ const items = [
   { id: "deepseek", href: "/deepseek/", label: "DeepSeek" },
   { id: "foundations", href: "/foundations/", label: "基础原理" },
   { id: "scaling", href: "/scaling/", label: "Scaling" },
+  { id: "data", href: "/pretraining/data/", label: "数据工程" },
   { id: "moe", href: "/moe/", label: "MoE" },
   { id: "long-context", href: "/long-context/", label: "长上下文" },
   { id: "reasoning", href: "/reasoning/", label: "推理" },

src/data/chapters.ts

@@ -86,12 +86,12 @@ export const chapters: Chapter[] = [
     title: "数据工程与预训练配方",
     kicker: "DATA",
     question: "更多网页为什么不等于更好的模型？",
-    summary: "追踪采集、过滤、去重、混合、课程、合成数据与污染控制，并明确公开报告的知识边界。",
-    status: "queued",
-    progress: 8,
-    papers: 14,
+    summary: "用十二张账追踪采集、解析、过滤、去重、混合、改写、Tokenizer、Packing、课程与污染，并串起 DeepSeek / Kimi 数据谱系。",
+    status: "published",
+    progress: 73,
+    papers: 31,
     prerequisites: ["01", "04"],
-    highlights: ["数据质量", "混合策略", "污染"],
+    highlights: ["十二张账", "DeepSeek/Kimi 谱系", "四联实验"],
   },
   {
     number: "06",

src/data/papers.ts

@@ -4,6 +4,7 @@ export type PaperTopic =
   | "长上下文"
   | "MoE"
   | "Scaling"
+  | "数据"
   | "训练系统"
   | "低精度"
   | "后训练"
@@ -123,8 +124,8 @@ export const papers: Paper[] = [
     year: 2019,
     title: "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer",
     url: "https://arxiv.org/abs/1910.10683",
-    topics: ["Transformer", "Scaling"],
-    contribution: "T5 统一 text-to-text 接口并系统研究架构与数据。",
+    topics: ["Transformer", "Scaling", "数据"],
+    contribution: "T5 统一 text-to-text 接口，并以 C4 建立现代 Common Crawl 清洗基线。",
     verified: true,
   },
   {
@@ -397,7 +398,7 @@ export const papers: Paper[] = [
     year: 2021,
     title: "GLaM: Efficient Scaling of Language Models with Mixture-of-Experts",
     url: "https://arxiv.org/abs/2112.06905",
-    topics: ["MoE", "Scaling"],
+    topics: ["MoE", "Scaling", "数据"],
     contribution: "展示 MoE 在能耗与推理计算上高效扩展语言模型。",
     verified: true,
   },
@@ -446,8 +447,8 @@ export const papers: Paper[] = [
     year: 2024,
     title: "DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model",
     url: "https://arxiv.org/abs/2405.04434",
-    topics: ["MoE", "长上下文", "训练系统"],
-    contribution: "联合 DeepSeekMoE 与 MLA，直接压缩推理 KV Cache。",
+    topics: ["MoE", "长上下文", "数据", "训练系统"],
+    contribution: "联合 DeepSeekMoE 与 MLA，并披露 8.1T 中英数据、过滤取舍和训练配方。",
     spotlight: "DeepSeek",
     verified: true,
   },
@@ -472,7 +473,7 @@ export const papers: Paper[] = [
     year: 2024,
     title: "DeepSeek-V3 Technical Report",
     url: "https://arxiv.org/abs/2412.19437",
-    topics: ["MoE", "Scaling", "训练系统", "低精度"],
+    topics: ["MoE", "Scaling", "数据", "训练系统", "低精度"],
     contribution: "671B-A37B；FP8、MTP、无辅助损失平衡与 DualPipe。",
     spotlight: "DeepSeek",
     verified: true,
@@ -545,8 +546,8 @@ export const papers: Paper[] = [
     year: 2024,
     title: "DeepSeek LLM: Scaling Open-Source Language Models with Longtermism",
     url: "https://arxiv.org/abs/2401.02954",
-    topics: ["Scaling"],
-    contribution: "中英 dense 基线与公开 scaling-law 研究。",
+    topics: ["Scaling", "数据"],
+    contribution: "中英 dense 基线、跨 91 个 Common Crawl dump 去重与公开 scaling-law 研究。",
     spotlight: "DeepSeek",
     verified: true,
   },
@@ -554,7 +555,7 @@ export const papers: Paper[] = [
     year: 2021,
     title: "The Pile: An 800GB Dataset of Diverse Text for Language Modeling",
     url: "https://arxiv.org/abs/2101.00027",
-    topics: ["Scaling"],
+    topics: ["Scaling", "数据"],
     contribution: "公开多域预训练语料与数据配比研究基础。",
     verified: true,
   },
@@ -562,7 +563,7 @@ export const papers: Paper[] = [
     year: 2023,
     title: "The RefinedWeb Dataset for Falcon LLM",
     url: "https://arxiv.org/abs/2306.01116",
-    topics: ["Scaling"],
+    topics: ["Scaling", "数据"],
     contribution: "证明高质量过滤与去重的 Web 数据可以支撑强模型。",
     verified: true,
   },
@@ -570,10 +571,170 @@ export const papers: Paper[] = [
     year: 2024,
     title: "Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research",
     url: "https://arxiv.org/abs/2402.00159",
-    topics: ["Scaling"],
+    topics: ["Scaling", "数据"],
     contribution: "开放 3T Token 语料与完整数据处理工具。",
     verified: true,
   },
+  {
+    year: 2019,
+    title: "CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data",
+    url: "https://arxiv.org/abs/1911.00359",
+    topics: ["数据"],
+    contribution: "把去重、语言识别和 Wikipedia-like 质量过滤组织成可扩展网页语料流水线。",
+    verified: true,
+  },
+  {
+    year: 2020,
+    title: "Extracting Training Data from Large Language Models",
+    url: "https://arxiv.org/abs/2012.07805",
+    topics: ["数据", "评测"],
+    contribution: "从 GPT-2 抽取逐字训练片段与 PII，实证训练记忆和隐私泄露风险。",
+    verified: true,
+  },
+  {
+    year: 2021,
+    title: "Deduplicating Training Data Makes Language Models Better",
+    url: "https://arxiv.org/abs/2107.06499",
+    topics: ["数据", "评测"],
+    contribution: "连接近重复、验证集重合、训练效率与逐字记忆，建立现代 fuzzy dedup 主线。",
+    verified: true,
+  },
+  {
+    year: 2023,
+    title: "ROOTS: One Massive Multilingual Dataset for 1.6TB of Text",
+    url: "https://arxiv.org/abs/2303.03915",
+    topics: ["数据"],
+    contribution: "总结 59 种语言、1.6TB 多语言语料的协作建设、治理与数据文档。",
+    verified: true,
+  },
+  {
+    year: 2022,
+    title: "Efficient Training of Language Models to Fill in the Middle",
+    url: "https://arxiv.org/abs/2207.14255",
+    topics: ["数据"],
+    contribution: "通过 PSM/SPM 数据重排获得代码中间补全能力，并消融变换率和格式。",
+    verified: true,
+  },
+  {
+    year: 2023,
+    title: "DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining",
+    url: "https://arxiv.org/abs/2305.10429",
+    topics: ["数据", "Scaling"],
+    contribution: "用小代理模型学习 domain weights，再迁移到更大目标模型。",
+    verified: true,
+  },
+  {
+    year: 2023,
+    title: "SemDeDup: Data-efficient Learning at Web-scale through Semantic Deduplication",
+    url: "https://arxiv.org/abs/2303.09540",
+    topics: ["数据"],
+    contribution: "在预训练 embedding 空间聚类语义近重复，研究硬删除与多样性收益。",
+    verified: true,
+  },
+  {
+    year: 2023,
+    title: "D4: Improving LLM Pretraining via Document De-Duplication and Diversification",
+    url: "https://arxiv.org/abs/2308.12284",
+    topics: ["数据"],
+    contribution: "先去重再主动保留多样性，说明智能重复与随机重复并不等价。",
+    verified: true,
+  },
+  {
+    year: 2023,
+    title: "PALOMA: A Benchmark for Evaluating Language Model Fit",
+    url: "https://arxiv.org/abs/2312.10523",
+    topics: ["数据", "评测"],
+    contribution: "提出固定训练顺序、子文档去污染、细粒度 domain 和 bits-per-byte 语料评测协议。",
+    verified: true,
+  },
+  {
+    year: 2024,
+    title: "The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale",
+    url: "https://arxiv.org/abs/2406.17557",
+    topics: ["数据"],
+    contribution: "以大规模网页清洗消融构建 FineWeb 与教育价值子集。",
+    verified: true,
+  },
+  {
+    year: 2024,
+    title: "DataComp-LM: In Search of the Next Generation of Language Model Pretraining Datasets",
+    url: "https://arxiv.org/abs/2406.11794",
+    topics: ["数据", "Scaling", "评测"],
+    contribution: "固定 240T candidate pool、模型尺度与 53 项评测，使数据 pipeline 可以同协议比较。",
+    verified: true,
+  },
+  {
+    year: 2024,
+    title: "Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling",
+    url: "https://arxiv.org/abs/2401.16380",
+    topics: ["数据"],
+    contribution: "WRAP 用受控改写增加网页语料的表达覆盖，并研究 Token utility。",
+    verified: true,
+  },
+  {
+    year: 2024,
+    title: "Fewer Truncations Improve Language Modeling",
+    url: "https://arxiv.org/abs/2404.10830",
+    topics: ["数据", "训练系统"],
+    contribution: "Best-fit packing 减少长文档截断，在固定序列长度下保护文档完整性。",
+    verified: true,
+  },
+  {
+    year: 2024,
+    title: "SoftDedup: Efficient Data Reweighting at Scale",
+    url: "https://arxiv.org/abs/2407.06654",
+    topics: ["数据"],
+    contribution: "按常见 n-gram 频率降低样本权重，探索比硬删除更连续的去重策略。",
+    verified: true,
+  },
+  {
+    year: 2024,
+    title: "MATES: Model-Aware Data Selection for Efficient Language Model Pretraining",
+    url: "https://arxiv.org/abs/2406.06046",
+    topics: ["数据", "Scaling"],
+    contribution: "以当前模型状态动态估计样本对目标验证分布的影响。",
+    verified: true,
+  },
+  {
+    year: 2024,
+    title: "Investigating Data Contamination in Modern Benchmarks for Large Language Models",
+    url: "https://arxiv.org/abs/2401.06059",
+    topics: ["数据", "评测"],
+    contribution: "区分 text contamination 与 ground-truth contamination，并检查 n-gram 检测的边界。",
+    verified: true,
+  },
+  {
+    year: 2024,
+    title: "MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training",
+    url: "https://arxiv.org/abs/2403.09611",
+    topics: ["数据", "多模态"],
+    contribution: "系统消融 caption、interleaved image-text、text-only mixture 与视觉组件。",
+    verified: true,
+  },
+  {
+    year: 2024,
+    title: "JEST: Joint Example Selection for Multimodal Learning",
+    url: "https://arxiv.org/abs/2406.17711",
+    topics: ["数据", "多模态"],
+    contribution: "按 batch 的联合可学习性选择多模态样本，研究动态数据价值。",
+    verified: true,
+  },
+  {
+    year: 2025,
+    title: "Group-MATES: Data-Efficient Pretraining with Group-Level Data Influence Modeling",
+    url: "https://arxiv.org/abs/2502.14709",
+    topics: ["数据", "Scaling"],
+    contribution: "把模型感知的数据影响估计扩展到 group-level 选择。",
+    verified: true,
+  },
+  {
+    year: 2025,
+    title: "Swallow: Continued Pre-training with Synthetic Data for Efficient Language Model Adaptation",
+    url: "https://arxiv.org/abs/2505.02881",
+    topics: ["数据", "后训练"],
+    contribution: "用 SwallowCode 与 SwallowMath 研究受控合成数据的继续预训练收益与边界。",
+    verified: true,
+  },
   {
     year: 2017,
     title: "Deep Learning Scaling is Predictable, Empirically",
@@ -1157,8 +1318,8 @@ export const papers: Paper[] = [
     year: 2024,
     title: "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models",
     url: "https://arxiv.org/abs/2402.03300",
-    topics: ["推理", "后训练"],
-    contribution: "数学数据管线与无独立 critic 的 GRPO。",
+    topics: ["数据", "推理", "后训练"],
+    contribution: "从 40B HTML pages 发现 120.2B 数学语料，并提出无独立 critic 的 GRPO。",
     spotlight: "DeepSeek",
     verified: true,
   },
@@ -1344,8 +1505,8 @@ export const papers: Paper[] = [
     year: 2025,
     title: "Kimi K2: Open Agentic Intelligence",
     url: "https://arxiv.org/abs/2507.20534",
-    topics: ["MoE", "训练系统", "Agent", "后训练", "推理"],
-    contribution: "开放 1T MoE Agent 模型，以 verifiable gym 与 self-critique rubric 做 joint RL。",
+    topics: ["MoE", "数据", "训练系统", "Agent", "后训练", "推理"],
+    contribution: "开放 1T MoE Agent 模型，以 15.5T、知识/数学改写与 verifiable gym / self-critique joint RL 协同。",
     spotlight: "Kimi",
     verified: true,
   },
@@ -1353,7 +1514,7 @@ export const papers: Paper[] = [
     year: 2026,
     title: "Kimi K2.5: Visual Agentic Intelligence",
     url: "https://arxiv.org/abs/2602.02276",
-    topics: ["训练系统", "Agent", "多模态", "推理"],
+    topics: ["数据", "训练系统", "Agent", "多模态", "推理"],
     contribution: "把视觉、工具使用和并行 Agent Swarm 纳入统一后训练。",
     spotlight: "Kimi",
     verified: true,
@@ -1484,8 +1645,8 @@ export const papers: Paper[] = [
     year: 2026,
     title: "DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence",
     url: "https://arxiv.org/abs/2606.19348",
-    topics: ["长上下文", "MoE", "训练系统", "推理"],
-    contribution: "CSA/HCA 混合注意力、mHC、Muon 与 1M 上下文双模型。",
+    topics: ["长上下文", "MoE", "数据", "训练系统", "推理"],
+    contribution: "32/33T 长文与 agentic 数据、CSA/HCA、mHC、Muon 和 1M 上下文双模型。",
     spotlight: "DeepSeek",
     verified: true,
   },
@@ -1493,8 +1654,8 @@ export const papers: Paper[] = [
     year: 2026,
     title: "Kimi K3: Open Frontier Intelligence",
     url: "https://arxiv.org/abs/2607.24653",
-    topics: ["长上下文", "MoE", "训练系统", "低精度", "推理", "Agent", "多模态", "评测"],
-    contribution: "2.8T-A104B、KDA/MLA、AttnRes、Stable LatentMoE 与 1M Agentic RL。",
+    topics: ["长上下文", "MoE", "数据", "训练系统", "低精度", "推理", "Agent", "多模态", "评测"],
+    contribution: "四文本域与视觉语料、2.8T-A104B、KDA/MLA、Stable LatentMoE 与 1M Agentic RL。",
     spotlight: "Kimi",
     verified: true,
   },
@@ -1506,6 +1667,7 @@ export const paperTopics: PaperTopic[] = [
   "长上下文",
   "MoE",
   "Scaling",
+  "数据",
   "训练系统",
   "低精度",
   "后训练",

src/pages/index.astro

@@ -8,6 +8,7 @@ const routes: Record<string, string> = {
   roadmap: "/roadmap/",
   foundations: "/foundations/",
   scaling: "/scaling/",
+  "pretraining/data": "/pretraining/data/",
   moe: "/moe/",
   "long-context": "/long-context/",
   reasoning: "/reasoning/",
@@ -80,6 +81,7 @@ const paths = [
           <a class="button" href="/k3/">直接解剖 K3</a>
           <a class="button" href="/deepseek/">DeepSeek 专题</a>
           <a class="button" href="/scaling/">Scaling Laws 专题</a>
+          <a class="button" href="/pretraining/data/">数据工程专题</a>
           <a class="button" href="/moe/">MoE 专题</a>
           <a class="button" href="/long-context/">长上下文专题</a>
           <a class="button" href="/reasoning/">推理专题</a>
@@ -93,20 +95,36 @@ const paths = [
         <div class="hero-stats">
           <div><b>16</b><span>核心专题</span></div>
           <div><b>151</b><span>K3 报告来源</span></div>
-          <div><b>182</b><span>关键论文索引</span></div>
+          <div><b>202</b><span>关键论文索引</span></div>
           <div><b>47p</b><span>K3 技术报告</span></div>
         </div>
       </aside>
     </div>
     <div class="scope-strip">
       <span>研究范围</span>
-      <p>表示学习 · Transformer · Scaling · MoE · 长上下文 · 训练系统 · 后训练 · 推理 · Agent · 多模态 · 服务与评测</p>
+      <p>表示学习 · Transformer · Scaling · 数据工程 · MoE · 长上下文 · 训练系统 · 后训练 · 推理 · Agent · 多模态 · 服务与评测</p>
       <a href="/progress/">查看实时进度 →</a>
     </div>
   </section>
 
   <section class="section compact release-section" id="new-chapters">
     <div class="release-grid">
+      <a class="release-card data-release" href="/pretraining/data/">
+        <div>
+          <p class="eyebrow"><span>NEW / CHAPTER 05</span> DATA & PRE-TRAINING</p>
+          <h2>同样一万亿 Token，可以是完全不同的训练经历</h2>
+          <p>
+            用来源、解析、质量、唯一性、污染、混合、变换、Tokenizer、Packing、课程与模型感知价值十二张账，
+            从 C4、Pile、DoReMi 和 DCLM 一路走到 DeepSeek 五代数据工程与 Kimi K2→K3 原生多模态。
+          </p>
+        </div>
+        <dl>
+          <div><dt>LINEAGE</dt><dd>2019 → 2026</dd></div>
+          <div><dt>PAPERS</dt><dd>31 个一手节点</dd></div>
+          <div><dt>LAB</dt><dd>流水线 · 去重 · 混合 · 改写</dd></div>
+        </dl>
+        <span class="release-arrow" aria-hidden="true">进入数据工程专题 →</span>
+      </a>
       <a class="release-card scaling-release" href="/scaling/">
         <div>
           <p class="eyebrow"><span>NEW / CHAPTER 04</span> SCALING LAWS</p>
@@ -420,6 +438,7 @@ const paths = [
       transition: transform 180ms ease, border-color 180ms ease;
     }
 
+    .data-release,
     .scaling-release,
     .training-release,
     .reasoning-release {
@@ -427,6 +446,13 @@ const paths = [
       min-height: 510px;
     }
 
+    .data-release {
+      background:
+        radial-gradient(circle at 82% 18%, rgba(76, 118, 112, 0.2), transparent 30%),
+        repeating-linear-gradient(0deg, transparent 0 46px, rgba(76, 118, 112, 0.045) 46px 47px),
+        var(--paper-raised);
+    }
+
     .scaling-release {
       background:
         radial-gradient(circle at 82% 18%, rgba(159, 91, 52, 0.18), transparent 30%),
@@ -510,6 +536,7 @@ const paths = [
         padding-bottom: 76px;
       }
 
+      .data-release,
       .scaling-release,
       .training-release,
       .reasoning-release {

src/pages/moe/index.astro

@@ -683,7 +683,7 @@ const paperChain = [
         <div class="next-links">
           <a class="button primary" href="/k3/#moe">回到 K3：在整机架构中定位 Stable LatentMoE →</a>
           <a class="button" href="/deepseek/">DeepSeek 完整论文谱系</a>
-          <a class="button" href="/papers/">搜索全部 182 篇论文</a>
+          <a class="button" href="/papers/">搜索全部 202 篇论文</a>
         </div>
       </section>
     </article>

src/pages/progress/index.astro

@@ -12,6 +12,7 @@ const workstreams = [
   { label: "Kimi K3 深读", value: 66, next: "扩写 pre-training / infra 逐图笔记" },
   { label: "Transformer 基础", value: 52, next: "加入矩阵形状动画与手算练习" },
   { label: "Scaling Laws", value: 74, next: "加入真实拟合复现、置信区间与更多模型族对照" },
+  { label: "数据工程与预训练配方", value: 73, next: "逐图精读 FineWeb / DCLM，加入真实去重与 mixture traces" },
   { label: "DeepSeek 专题", value: 71, next: "补 R1 / DAPO 的逐图训练轨迹与复现对照" },
   { label: "推理与测试时扩展", value: 76, next: "真实模型采样曲线、PRM 案例与逐篇图表精读" },
   { label: "稀疏计算与 MoE", value: 74, next: "补充真实集群 traces 与专家特化案例" },
@@ -41,7 +42,7 @@ const workstreams = [
         <div><dt>OVERALL</dt><dd>专题平均 {average}%</dd></div>
         <div><dt>READABLE</dt><dd>{published} 个首版可读专题</dd></div>
         <div><dt>ACTIVE</dt><dd>{researching} 个研究/写作中</dd></div>
-        <div><dt>UPDATED</dt><dd>2026-07-29 02:08 CST</dd></div>
+        <div><dt>UPDATED</dt><dd>2026-07-29 03:01 CST</dd></div>
         <div><dt>MODE</dt><dd>持续迭代，不锁死版本</dd></div>
       </dl>
     </div>
@@ -51,7 +52,7 @@ const workstreams = [
     <div class="section-heading">
       <div>
         <p class="eyebrow"><span>01</span> WORKSTREAMS</p>
-        <h2>十二条工作流同时推进，但不混淆“有页面”和“已核验”</h2>
+        <h2>十三条工作流同时推进，但不混淆“有页面”和“已核验”</h2>
       </div>
       <p class="section-lead">
         内容首版优先打通全局脉络；随后每轮迭代选择一个专题推进到论文/工程层，并做独立事实复核。
@@ -88,14 +89,15 @@ const workstreams = [
       <article><span>✓</span><h3>K3 报告已结构化拆解</h3><p>47 页报告目录、151 条参考来源和架构/后训练/系统主线已经提取。</p></article>
       <article><span>✓</span><h3>16 专题知识图</h3><p>从语言模型基础到评测安全，包含先修依赖和三条贯穿案例。</p></article>
       <article><span>✓</span><h3>编辑式网站系统</h3><p>响应式导航、章节模板、侧栏、进度、论文链和证据提示组件。</p></article>
-      <article><span>✓</span><h3>十六个原创交互视图</h3><p>K3、注意力、DeepSeek、长上下文、MoE、推理三页签，以及训练系统与 Scaling 各四页签实验。</p></article>
-      <article><span>✓</span><h3>八篇首版长文</h3><p>K3 导读、Transformer 基础、DeepSeek 谱系、Scaling、长上下文、MoE、推理与训练系统专题。</p></article>
+      <article><span>✓</span><h3>二十个原创交互视图</h3><p>K3、注意力、DeepSeek、长上下文、MoE、推理，以及训练系统、Scaling 与数据工程的多页签实验。</p></article>
+      <article><span>✓</span><h3>九篇首版长文</h3><p>K3、Transformer、DeepSeek、Scaling、数据工程、长上下文、MoE、推理与训练系统专题。</p></article>
       <article><span>✓</span><h3>Scaling Laws 深度专题</h3><p>九张账、29 个一手节点、DeepSeek/Kimi 双谱系与曲面—部署—复用—涌现四联实验。</p></article>
+      <article><span>✓</span><h3>数据工程深度专题</h3><p>十二张账、31 个一手节点、DeepSeek/Kimi 双谱系与流水线—去重—混合—改写四联实验。</p></article>
       <article><span>✓</span><h3>长上下文深度专题</h3><p>五张成本账、26 篇一手论文、10+ 机制图与 8 策略交互实验室。</p></article>
       <article><span>✓</span><h3>MoE 深度专题</h3><p>六张账、19 篇一手论文、DeepSeek/K3 主线与路由—容量—通信交互实验室。</p></article>
       <article><span>✓</span><h3>推理深度专题</h3><p>八张账、30 篇一手论文链、DeepSeek/Kimi 双主线与三页签互动实验室。</p></article>
       <article><span>✓</span><h3>训练系统深度专题</h3><p>九张账、37 个一手节点、DeepSeek/Kimi 双谱系与显存—网格—气泡—通信实验室。</p></article>
-      <article><span>✓</span><h3>182 篇关键论文索引</h3><p>覆盖 12 个专题，支持全文搜索、标签筛选与 Kimi/DeepSeek 聚光主线。</p></article>
+      <article><span>✓</span><h3>202 篇关键论文索引</h3><p>新增数据专题标签和 20 个一手节点，继续支持全文搜索与 Kimi/DeepSeek 聚光主线。</p></article>
       <article><span>✓</span><h3>公开仓库与自托管发布</h3><p>源码公开到 git.k1412.top，网站由不可变镜像、Compose Manager 与 HTTPS 交付。</p></article>
     </div>
   </section>
@@ -111,6 +113,7 @@ const workstreams = [
     <div class="queue-table">
       <div class="head"><b>优先级</b><b>专题</b><b>本轮交付</b><b>完成闸门</b></div>
       <div><span>P0</span><strong>Scaling Laws 二轮</strong><p>真实拟合复现 → 置信区间 → 更多模型族与下游任务外推</p><em>可复现实验 + 逐图笔记</em></div>
+      <div><span>P1</span><strong>数据工程二轮</strong><p>FineWeb / DCLM 逐图 → 真实去重误伤 → mixture traces 与污染案例</p><em>逐图笔记 + 案例库</em></div>
       <div><span>P1</span><strong>大规模训练系统二轮</strong><p>真实集群 traces → 故障恢复 → 精确 topology / kernel 配置</p><em>案例库 + 实测边界</em></div>
       <div><span>P1</span><strong>长上下文二轮深化</strong><p>真实模型配置 → 内核细节 → 长上下文评测与失败案例</p><em>配置比较器 + 逐图论文笔记</em></div>
       <div><span>P1</span><strong>MoE 二轮深化</strong><p>真实负载 traces → 专家特化可解释性 → 共享专家语义</p><em>案例库 + 集群证据</em></div>
@@ -157,6 +160,8 @@ const workstreams = [
       <div><time>2026-07-29</time><b>推理按八张账组织</b><p>把答案、覆盖、选择、过程、预算、优化、分布与系统证据分开核算。</p></div>
       <div><time>2026-07-29</time><b>训练系统按九张账组织</b><p>把模型状态、激活、并行、气泡、通信、专家、上下文、数值与可靠性分开核算。</p></div>
       <div><time>2026-07-29</time><b>Scaling Laws 按九张账组织</b><p>把观测量、模型、数据、算术、配比、配方、外推、经济目标与能力阶段分开核算。</p></div>
+      <div><time>2026-07-29</time><b>数据工程按十二张账组织</b><p>把来源、解析、语言、质量、唯一性、污染、混合、变换、Tokenizer、Packing、课程与价值分开核算。</p></div>
+      <div><time>2026-07-29</time><b>Grok 数据线索与正式账本永久分离</b><p>1264 行正式研究账本只接受回查一手来源后的结论；203 行 Grok 产物保留为未核验发现队列。</p></div>
     </div>
   </section>
 

src/pages/reasoning/index.astro

@@ -699,7 +699,7 @@ const paperChain = [
         <h2>不要按模型榜单读，按“旧方法留下了哪堵墙”读</h2>
         <p>
           下面 30 篇构成本专题首版主干。课程中的机制、公式与数字优先回到这些一手来源；
-          更完整的 182 篇跨专题索引位于论文库。
+          更完整的 202 篇跨专题索引位于论文库。
         </p>
         <div class="paper-chain">
           {paperChain.map(([year, title, href, note], index) => (