--- import BaseLayout from "@/layouts/BaseLayout.astro"; import ScalingLawsLab from "@/components/ScalingLawsLab.astro"; const toc = [ ["00", "map", "九张账与坐标"], ["01", "power-law", "为什么是幂律"], ["02", "roots", "早期经验"], ["03", "kaplan", "Kaplan 范式"], ["04", "chinchilla", "Chinchilla 修正"], ["05", "isoflop", "IsoFLOP 怎样做"], ["06", "replication", "复现与和解"], ["07", "data", "数据受限"], ["08", "overtraining", "过训练与部署"], ["09", "emergence", "涌现之争"], ["10", "new-axes", "MoE 与新坐标"], ["11", "deepseek", "DeepSeek 主线"], ["12", "kimi", "Kimi K2 → K3"], ["13", "lab", "四个互动实验"], ["14", "reading", "怎样读一张曲线"], ["15", "papers", "关键论文链"], ]; const ledgers = [ ["L1 / OBSERVABLE", "观测量", "CE、NLL、PPL、BPB 或任务错误率？"], ["L2 / MODEL", "模型规模", "total、non-embedding 还是 active parameters？"], ["L3 / DATA", "数据规模", "seen、unique、repeated 还是 effective Token？"], ["L4 / COMPUTE", "理论算术", "训练 FLOPs 怎样定义，是否遗漏 attention / routing？"], ["L5 / ALLOCATION", "预算配比", "固定 C 时，N 与 D 各分多少？"], ["L6 / RECIPE", "训练配方", "batch、LR、warmup、schedule 是否随规模公平调优？"], ["L7 / EXTRAPOLATION", "外推证据", "目标点是否真正留出，误差与置信区间多大？"], ["L8 / ECONOMICS", "经济目标", "只算训练，还是加上未来全部推理？"], ["L9 / CAPABILITY", "能力阶段", "平滑 loss、离散 benchmark、RL 与 test-time compute 能否同图？"], ]; const history = [ ["2017", "Hestness", "跨语言、视觉、语音等任务观察数据—误差幂律。"], ["2018", "Noise Scale", "critical batch 把并行速度与样本效率放进同一张账。"], ["2020", "Kaplan", "建立 L(N)、L(D)、L(C) 与偏大模型的 compute-optimal 结论。"], ["2020", "Cross-modal", "Henighan 把自回归幂律扩到图像、视频与数学。"], ["2022", "Chinchilla", "三种方法把最优分配改写为参数与数据近似同比例增长。"], ["2022", "Emergence", "若干 benchmark 在规模上呈现突然跃升。"], ["2022", "Broken Laws", "用平滑折断幂律表达 plateau、拐点和新斜率。"], ["2023", "Data-constrained", "把 unique Token 和重复 epoch 分开，研究数据墙。"], ["2023", "Mirage", "非线性与不连续指标可能制造“突然会了”。"], ["2024", "Reproduction", "重新检查 Chinchilla 拟合与 Kaplan–Chinchilla 分歧。"], ["2024", "Over-training", "把小模型长训和下游平均错误率纳入预测。"], ["2024–26", "New axes", "MoE、部署成本、RL、长上下文和多模态要求新的坐标。"], ]; const approaches = [ ["01", "训练曲线最小值", "0.50", "0.50", "不同模型沿训练曲线找每个预算的最低 loss"], ["02", "IsoFLOP profiles", "0.49", "0.51", "固定 FLOPs，扫多组 N×D，再连接谷底"], ["03", "Parametric loss", "0.46", "0.54", "拟合 E + A/Nᵅ + B/Dᵝ 后解析求解"], ["K", "Kaplan 对照", "0.73", "0.27", "其 2020 配方更偏向增加模型规模"], ]; const deepseekSteps = [ { year: "2024", title: "DeepSeek LLM", formula: "Mopt ∝ C⁰·⁵²⁴³ · Dopt ∝ C⁰·⁴⁷⁵⁷", body: "先搜索 batch 与学习率，再用 non-embedding FLOPs/token M 替代参数代理；attention 计算进入坐标。", }, { year: "2024", title: "DeepSeekMoE / V2", formula: "TOTAL ≠ ACTIVE ≠ FLOPs", body: "细粒度专家和 MLA 改写容量、每 Token 计算与服务 KV 成本，Dense 的单一 N 已不够。", }, { year: "2024", title: "DeepSeek-V3", formula: "671B total · 37B active · 14.8T Token", body: "模型、数据、FP8、DualPipe 与通信内核共同决定实际可扩展性；GPU hours 不能由 6ND 单独推出。", }, { year: "2026", title: "DeepSeek-V4", formula: "1M context · hybrid attention · Muon", body: "压缩/稀疏 attention、recurrent components、mHC 与优化器把“规模”扩展到上下文和深度稳定性。", }, ]; const kimiSteps = [ { title: "Kimi K2", tag: "TOKEN EFFICIENCY", body: "15.5T curated Token、MuonClip、知识/数学改写与 sparsity scaling；重点从“更多 Token”转向“每个 Token 的学习价值”。", }, { title: "Kimi K3 Scaling Study", tag: "FAMILY SEARCH", body: "为 KDA、AttnRes、Stable LatentMoE 和新数据/训练配方重新搜索 batch、LR、TPP 与 model shape。", }, { title: "Cosine vs WSD", tag: "FAIR TUNING", body: "两种 schedule 的最优 peak LR 与 batch 不同；各自独立调参后，报告选择 cosine，不能用共享超参草率赛跑。", }, { title: "2.5× Overall", tag: "AUTHOR-REPORTED", body: "Figure 7 的 OOD validation loss–FLOPs family-level 差异；不是单组件、吞吐、参数效率或所有 benchmark 的 2.5×。", }, ]; const paperChain = [ ["2017", "Deep Learning Scaling is Predictable, Empirically", "https://arxiv.org/abs/1712.00409", "跨任务数据幂律前史。"], ["2018", "An Empirical Model of Large-Batch Training", "https://arxiv.org/abs/1812.06162", "gradient noise scale 与 critical batch。"], ["2020", "Scaling Laws for Neural Language Models", "https://arxiv.org/abs/2001.08361", "Kaplan 的 N / D / C 经典坐标。"], ["2020", "Scaling Laws for Autoregressive Generative Modeling", "https://arxiv.org/abs/2010.14701", "跨模态自回归幂律。"], ["2020", "Language Models are Few-Shot Learners", "https://arxiv.org/abs/2005.14165", "GPT-3 的规模与 in-context learning 实证。"], ["2021", "Scaling Language Models: Methods, Analysis & Insights from Training Gopher", "https://arxiv.org/abs/2112.11446", "280B Dense 模型的任务分化。"], ["2022", "Training Compute-Optimal Large Language Models", "https://arxiv.org/abs/2203.15556", "Chinchilla 与 IsoFLOP。"], ["2022", "PaLM: Scaling Language Modeling with Pathways", "https://arxiv.org/abs/2204.02311", "540B 规模实践与任务变化。"], ["2022", "Emergent Abilities of Large Language Models", "https://arxiv.org/abs/2206.07682", "涌现能力的原始系统化。"], ["2022", "Broken Neural Scaling Laws", "https://arxiv.org/abs/2210.14891", "plateau、拐点与折断幂律。"], ["2023", "LLaMA: Open and Efficient Foundation Language Models", "https://arxiv.org/abs/2302.13971", "面向推理效率的小模型长训练。"], ["2023", "Are Emergent Abilities of Large Language Models a Mirage?", "https://arxiv.org/abs/2304.15004", "指标导致的伪阶跃。"], ["2023", "Scaling Data-Constrained Language Models", "https://arxiv.org/abs/2305.16264", "unique data 与重复 epoch。"], ["2023", "Pythia", "https://arxiv.org/abs/2304.01373", "训练中间 checkpoint 与可解释 scaling。"], ["2024", "DeepSeek LLM", "https://arxiv.org/abs/2401.02954", "超参数 law、M 与开放 scaling study。"], ["2024", "Beyond Chinchilla-Optimal", "https://arxiv.org/abs/2401.00448", "加入未来推理需求。"], ["2024", "Language Models Scale Reliably with Over-training", "https://arxiv.org/abs/2403.08540", "104 个模型与 aggregate downstream error。"], ["2024", "Chinchilla Scaling: A Replication Attempt", "https://arxiv.org/abs/2404.10102", "拟合参数与置信区间复查。"], ["2024", "More Compute Is What You Need", "https://arxiv.org/abs/2404.19484", "计算分配敏感性的争议假说。"], ["2024", "Resolving Discrepancies in Compute-Optimal Scaling", "https://arxiv.org/abs/2406.19146", "FLOPs、warmup 与调参解释分歧。"], ["2024", "Optimization Hyper-parameter Laws", "https://arxiv.org/abs/2409.04777", "动态学习率 schedule 的预测。"], ["2024", "Establishing Task Scaling Laws via Model Ladders", "https://arxiv.org/abs/2412.04403", "从 task loss 到 task performance。"], ["2024", "The Llama 3 Herd of Models", "https://arxiv.org/abs/2407.21783", "超 Chinchilla TPP 的开放实践。"], ["2024", "DeepSeek-V3 Technical Report", "https://arxiv.org/abs/2412.19437", "MoE、FP8 与系统协同。"], ["2025", "Kimi K2: Open Agentic Intelligence", "https://arxiv.org/abs/2507.20534", "token efficiency、MuonClip 与改写。"], ["2025", "Overtrained Language Models Are Harder to Fine-Tune", "https://arxiv.org/abs/2503.19206", "base loss 与后训练可塑性分离。"], ["2026", "Data-Constrained LM Pretraining", "https://arxiv.org/abs/2606.06888", "SoftQ 与模型—数据耦合。"], ["2026", "DeepSeek-V4", "https://arxiv.org/abs/2606.19348", "百万上下文的新缩放变量。"], ["2026", "Kimi K3: Open Frontier Intelligence", "https://arxiv.org/abs/2607.24653", "双轴扩展与 2.5× family claim。"], ]; ---

SCALING / 04 EMPIRICAL LAWS & ENGINEERING

更大为什么有效，
又为什么不是越大越好？

Scaling law 不是一句“堆算力”。它要说明横轴是什么、纵轴是什么、固定了什么， 以及一条从小实验外推到昂贵训练的曲线，究竟有多大误差、在哪些条件下会失效。

LEDGERS
9 张不能混的账
CORE SOURCES
29 个一手节点
LINEAGE
2017 → 2026
LAB
4 个独立实验
SPOTLIGHT
DeepSeek × Kimi

00 NINE LEDGERS

第一步不是画曲线，而是给横轴、纵轴和“最优”补全单位

同样写着 “scaling”，可能是在研究训练 loss、唯一数据、激活参数、累计推理请求或 RL FLOPs。 坐标不同，最佳决策甚至会朝相反方向移动。下面九张账是本章的防混淆协议。

{ledgers.map(([code, title, body], index) => (
{code}

{title}

{body}

))}
一句话定义

Scaling law 是在一个明确的模型族、数据分布、训练 recipe 和指标下， 用较便宜的实验拟合规模规律，再对未训练的大 run 做带不确定性的预测。

01 POWER LAW INTUITION

为什么 log-log 图上常出现一条直线？

许多实验观察到可约误差随资源 x 近似按 x-α 下降。 取对数后，乘法变加法、指数变斜率，所以跨多个数量级的弯曲关系会变成近似直线。

GENERIC FORM L(x) = L∞ + A · x−α
L∞
当前实验族的不可约下界
A
数据、架构、tokenizer 决定的垂直位移
α
资源翻倍时，loss 下降有多快
LINEAR VIEW RESOURCE x
log
LOG–LOG VIEW LOG x slope = −α
翻倍不是翻倍能力

若 α 很小，每次翻倍只改善一点；跨越 10³–10⁶ 倍资源后，累积效果才显著。

直线不是永恒真理

数据分布、架构、优化器或指标改变后，前因子、指数、下界乃至函数形状都会改变。

拟合内不等于外推准

十个点能画出漂亮直线；真正的验证是把更大的目标 run 留到最后再揭晓。

02 2017 → 2026

从“数据多一点会更好”，到训练前先做模型家族搜索

Scaling laws 不是 GPT-3 后突然出现。2017 年的跨任务经验、2018 年的大 batch 统计， 先把可预测性与训练效率摆上桌；语言模型只是把实验推到更大的数量级。

{history.map(([year, title, body], index) => (
{String(index + 1).padStart(2, "0")}

{title}

{body}

))}

03 KAPLAN 2020

经典坐标建立：参数、数据、计算各自都能形成平滑幂律

Scaling Laws for Neural Language Models 在 WebText2 和一族 Transformer 上分别研究参数受限、数据受限与计算受限的情况。 论文把 “规模有效” 变成了可拟合、可规划的工程问题。

PARAMETER-LIMITED L(N) ∝ N−0.076

N 是 non-embedding parameters；需有足够数据并训练到接近收敛。

DATA-LIMITED L(D) ∝ D−0.095

D 是 Token；常数依赖 WebText2、词表与 tokenizer。

COMPUTE-OPTIMAL Nopt ∝ C0.73

该 recipe 下，大部分新增算力被分给更大的模型，数据增长较慢。

当年的结论 更大的模型更 sample-efficient，compute-optimal 训练应偏向大模型并较早停止。
今天不能省略的条件

固定 3,000-step warmup、last-layer FLOPs 计数与不同规模的优化器调参方式都会影响谷底。 2024 年复现实验证明，recipe 公平性可以改变看到的指数。

04 CHINCHILLA 2022

同样训练 FLOPs，70B 认真读更多数据，可以胜过 280B 的欠训练模型

Training Compute-Optimal Large Language Models 不只训练一个大模型，而是用三套方法寻找多个固定预算下的最优 N × D 配比。 三套结果共同指向：算力增长时，参数与 Token 应近似同比例增长。

PARAMETRIC LOSS L(N,D)
不可约E数据分布底噪
+
模型项A / Nα容量不够
+
数据项B / Dβ训练不够
方法实验/拟合方式N exponentD exponent
{approaches.map(([index, title, n, d, body]) => (
{index}

{title}{body}

{n} {d}
))}
TOKENS / PARAMETER一个经验尺，不是自然常数
1严重欠训 ≈20Chinchilla 表 3 附近 200小模型长训练 2,000部署导向过训练 10,000论文探索边界

表 3 的 1B→20.2B Token、10B→205.1B、67B→1.5T 形成约 20 TPP 的实用近似； 它不保证跨数据质量、tokenizer、MoE、优化器或部署目标保持不变。

05 ISOFLOP METHOD

谷底不是用公式猜出来的，而是用很多次小训练“围”出来的

固定一笔 compute budget，模型变大时能看的 Token 必须变少。最小模型可能容量不足，最大模型可能数据不足， 中间就形成一条 U 型 IsoFLOP 曲线。对多个预算重复，连接谷底才得到 compute-optimal frontier。

不同训练算力预算下的 IsoFLOP U 型曲线 MODEL SIZE N · LOG VALIDATION LOSS OPTIMAL FRONTIER
  1. 01
    选预算

    至少多个跨数量级的训练 FLOPs。

  2. 02
    扫配比

    每个预算都要覆盖谷底两侧。

  3. 03
    调 recipe

    不同规模的 LR、batch、warmup 需公平。

  4. 04
    找谷底

    记录最优 N、D 与最终 loss。

  5. 05
    真正外推

    用未参与拟合的大 run 检查误差。

06 REPLICATION & RECONCILIATION

“Kaplan 错、Chinchilla 对”太简单：训练 recipe 本身就在改变曲线

2024 年两条复现路线把争议从口号拉回实验细节。 Chinchilla replication 检查原论文 Approach 3 的拟合； Resolving Discrepancies 则从 Kaplan 风格训练重做实验。

REPLICATION ATTEMPT

精确参数和置信区间有问题

  • 正文、TeX 与重建数据的参数不完全一致；
  • 原报告的 Approach 3 置信区间异常窄；
  • 重新拟合后，近等比例扩展仍与 Approach 1/2 相容。
不是“Chinchilla 被推翻”
KAPLAN → CHINCHILLA

三项修正让指数明显移动

  • 是否计入最后一层 / vocabulary FLOPs；
  • 固定 warmup 对小模型是否过长；
  • 是否做 scale-dependent optimizer tuning。
recipe 是 scaling law 的一部分
固定 3,000-step warmup

小模型大量训练仍在 warmup

→
小模型看起来不划算

谷底被推向更大模型

→
N exponent 变大

像是“规模定律”，实含 recipe 偏差

Scaling law 最值得学习的不是某个小数点，而是实验协议：定义、覆盖、调参、留出、误差条和失败条件。

07 DATA-CONSTRAINED REGIME

Seen Token 是系统付出的计算，Unique Token 才是第一次见到的信息

Scaling Data-Constrained Language Models 用 UD 表示唯一数据，用 RD 表示重复次数： D = UD × (RD + 1)。这个拆分让“训练了多少 Token”和“拥有多少新语料”不再混写。

UNIQUE DATA
UD

第一次出现的内容；筛选和去重决定底层分布。

× epochs
SEEN TOKENS
D

训练系统真实处理的量；每次重复仍付完整算力。

≠
EFFECTIVE SIGNAL
Deff

不可直接测量的教学概念；重复、质量与正则化会改变它。

论文实际报告
  • 400+ 个模型，10M–9B 参数；
  • 最多 900B training Token；
  • 其设置中，约 4 epoch 内与等量 unique data 的差距可能很小；
  • 继续重复的边际收益最终趋近于零。
不能改写成
  • “任何语料重复四遍都无害”；
  • “第五遍开始完全没用”；
  • “改写一遍等于得到一个新 Token”；
  • “互联网数据将在某个固定年份耗尽”。

2026 年的 SoftQ 进一步让模型与有限数据项发生耦合， 并研究强权重衰减与 masked-input regularization。它是数据受限前沿的新证据，不是已定型的新常数。

08 OVER-TRAINING & DEPLOYMENT

训练最省算力的模型，未必是一生服务最省算力的模型

Chinchilla 只优化训练。如果一个模型会被调用十亿次，更小模型即使预训练更久， 每次推理节省的计算也可能把额外训练成本赚回来。

TOTAL LIFETIME COST
Ctotal= Ctrain+ requests × Cinference

目标函数一变，最优点就可以从“大模型、少训练”移动到“小模型、长训练”。

TRAIN-ONLY OPTIMUM
N

参数与数据在固定训练 FLOPs 下配平；不关心模型上线后调用多少次。

INFERENCE DEMAND ↑ → 最优模型趋向更小、训练 Token 趋向更多
LIFETIME OPTIMUM
N

用更多预训练摊薄每次调用；最终位置依赖流量、上下文、batch、硬件和寿命。

BEYOND CHINCHILLA

10–10,000 TPP

Sardana et al. 训练 47 个 150M–6B 模型， 在研究范围内没有看到极高 TPP 的 loss 完全停止改善；这不证明无限长训。

OVER-TRAINING LAWS

104 models · 3 datasets

Gadre et al. 发现多个 token multiplier 的 reducible-loss 曲线近似平行；aggregate downstream error 比单任务更可预测。

NEW FAILURE MODE

Base loss ≠ Adaptability

Catastrophic overtraining 提醒： 更低预训练 loss 可能伴随后续 fine-tuning 更困难，两阶段目标必须分账。

09 EMERGENCE DEBATE

“突然会了”可能是真机制，也可能只是评分尺把平滑曲线折成台阶

Emergent Abilities 系统记录多项任务在规模上从近随机跃升。 Mirage 随后证明，非线性或不连续指标本身就能制造这种外观。

同一底层 per-token 能力
通过不同评分尺
TOKEN EDIT DISTANCE连续
EXACT MATCH很陡
PASS / FAIL阶跃
先换连续指标

Token-level、Brier score、edit distance，检查底层进展是否仍有拐点。

再补采样与方差

稀疏规模点和高方差 benchmark 很容易把噪声看成阈值。

最后谈机制改变

若多个连续指标、种子和数据集都出现稳定转折，才追查数据或网络机制。

10 BEYOND DENSE N × D

MoE 之后，一个“参数量”已经不能同时说明容量、计算与系统成本

Dense 模型里，参数量常能粗略代理每 Token 计算。MoE 把这条绑定拆开：模型可以拥有巨大总容量， 每个 Token 只激活一小部分；但未激活参数仍需存储，路由还会引入通信和负载不均。

CAPACITYNtotal

模型能装下多少专家与知识

ONE TOKENroute → active experts → combine
COMPUTENactive

该 Token 实际进入多少参数

SYSTEMbytes · imbalance

权重、dispatch、最慢 rank 与拓扑

DENSE PRETRAINN · D · C · L

经典 scaling law 主轴。

→
SPARSE / CONTEXTNtotal · Nactive · S

容量、激活计算与序列长度。

→
POST-TRAIN / SERVERL FLOPs · test-time · requests

数据生成、搜索和生命周期成本。

因此 K3 报告所说的“双轴 scaling”——扩大预训练 foundation，同时扩大 RL、reasoning effort 与 agent 协作—— 不能被压回一条 L(N,D)。它们优化不同目标、消费不同数据、产生不同状态。

11 DEEPSEEK SPOTLIGHT

DeepSeek 的亮点：不仅拟合模型和数据，还把超参数与真实算术放进搜索

DeepSeek LLM §3 的重要性在于把 scaling study 变成训练大模型前的工程程序：先搜索 batch / LR，再决定模型—数据配比，并用更贴近算术的 M 替代参数数。

HYPERPARAMETER LAWS ηopt = 0.3118 · C−0.1250 Bopt = 0.2920 · C0.3271

系数只属于论文单位与实验族，不是通用配置。

MODEL SCALE PROXY M = 72Ld² + 12LdS C = M · D

把 attention 随 sequence length 的计算纳入 non-embedding FLOPs/token。

ISOFLOP RESULT Mopt = 0.1715 · C0.5243 Dopt = 5.8316 · C0.4757

数据分布改变时，论文 §3.3 的 exponent 也会改变。

{deepseekSteps.map((step, index) => (
{String(index + 1).padStart(2, "0")}

{step.title}

{step.formula}

{step.body}

))}

12 KIMI K2 → K3

从每个 Token 的价值，到整个模型家族的 2.5× scaling-efficiency claim

Kimi K2 把高质量数据有限写进动机； Kimi K3 则对包含新架构、新数据与新训练配方的模型家族重新做 scaling study。

{kimiSteps.map((step, index) => ( <>
{step.tag} {String(index + 1).padStart(2, "0")}

{step.title}

{step.body}

{index < kimiSteps.length - 1 && } ))}
K3 FIGURE 7≈2.5×

overall scaling efficiency vs K2

它是

作者在 held-out OOD validation loss–FLOPs fitted curves 上报告的 family-level 横向差异。

它包含

KDA、AttnRes、Stable LatentMoE、数据与训练 recipe 的合计影响。

它不是

单个组件消融、吞吐 2.5×、参数少 2.5×、所有 benchmark 都提升 2.5×。

仍未知

足以独立重建全部曲线的原始 run 点、拟合代码、置信区间与完整数据配比。

K3 最值得带走的方法不是“cosine 永远优于 WSD”，而是不同 schedule 必须各自寻找近优 batch 与 peak LR，才能公平比较。

13 INTERACTIVE LAB

亲手移动“最优点”，比背 20 TPP 更接近真实 scaling study

四个实验分别核算训练分配、生命周期成本、数据复用和指标变换。所有输出都是确定性教学模拟； 它们展示因果方向和边界，不预测任何真实模型的 loss、价格或能力。

14 CURVE READING PROTOCOL

看到一张漂亮 scaling 图，按这 12 个问题逐项盘问

01纵轴是什么？

CE、BPB、PPL、平均错误率或单任务 accuracy？

02横轴是什么？

参数、Token、FLOPs、GPU hour、请求还是 test-time compute？

03N 怎样数？

total、non-embedding、active，是否包含 embedding / ViT？

04D 怎样数？

unique、seen、重复、合成，tokenizer 是否一致？

05C 怎样数？

6ND、真实算子 FLOPs，还是硬件峰值与 GPU hours？

06实验族可比吗？

架构、数据、优化器与训练稳定机制是否一起变化？

07配比扫到谷底两侧了吗？

没有两侧就无法证明找到了最优点。

08超参公平吗？

不同规模与 schedule 是否各自调 LR、batch、warmup？

09目标点被留出了吗？

拟合内漂亮不代表跨 100× compute 外推准确。

10误差条在哪里？

seed 方差、bootstrap CI、残差和版本是否公开？

11最优针对什么？

训练 loss、部署总成本、下游平均还是 post-training 后能力？

12作者没有公开什么？

原始点、拟合代码、数据配比与失败 run 都影响可信度。

FINAL MENTAL MODEL

曲线告诉你在当前条件下资源如何换 loss； 谷底告诉你当前目标怎样分配预算； 误差条告诉你能信多远； 边界告诉你换数据、架构、阶段或经济目标后必须重新实验。

15 PRIMARY-SOURCE READING CHAIN

29 个节点：先读主干，再沿争议与模型谱系深入

推荐顺序：Hestness → Kaplan → Chinchilla → data-constrained / inference-aware → replication / reconciliation → DeepSeek LLM → K2 / K3。涌现与 broken laws 可作为平行争议线。

{paperChain.map(([year, title, url, note], index) => ( {String(index + 1).padStart(2, "0")} {title}

{note}

 ))}
NEXT / CHAPTER 05

曲线告诉我们需要多少数据；下一章追问这些 Token 怎样采集、过滤、去重、混合和防污染。

Scaling law 把数据写成 D，数据工程则解释为什么两个同样大的 D，可能有完全不同的学习价值。