llm-atlas/research/SCALING_LAWS_GROK_LEADS.md

Scaling Laws · Grok Discovery Leads

未核验线索，不是正式研究账本。

2026-07-29 通过本机 Grok CLI Headless + web search 生成候选路线。
正式结论只进入 SCALING_LAWS_RESEARCH.md，并以论文 / 官方报告原文为准。

Grok 建议的候选主线

1. Hestness：跨任务经验幂律；
2. Kaplan：语言模型的参数、数据与计算幂律；
3. Chinchilla：固定训练 FLOPs 下的模型—数据近等比例扩展；
4. Gopher / PaLM / LLaMA：从大而欠训到小而长训；
5. Emergent Abilities 与 Mirage：能力变化还是指标折射；
6. Broken Neural Scaling Laws：单一幂律之外的拐点；
7. data-constrained scaling：有限唯一数据与重复训练；
8. inference-aware scaling：训练最优与部署最优分离；
9. over-training 与 downstream task scaling；
10. DeepSeek 的稀疏激活、MLA、低精度和系统经济性；
11. Kimi K2 的 token efficiency、MuonClip、rephrasing 与 sparsity scaling；
12. 预训练 scaling、RL scaling 与 test-time compute 必须分轴。

候选资源账

• 经典交叉熵幂律；
• compute-optimal allocation；
• unique / repeated data；
• over-training；
• train + inference total cost；
• emergent metric；
• Dense / MoE effective compute；
• hyperparameter scaling；
• post-training / test-time scaling。

候选视觉

• N–D–C 三轴；
• IsoFLOP 山谷；
• Kaplan / Chinchilla 射线；
• TPP 尺子；
• unique / repeated Token；
• train-optimal / serve-optimal 双目标；
• exact match 制造阶跃；
• broken power law；
• Dense / MoE 双参数账；
• DeepSeek / Kimi 双谱系。

候选互动

1. IsoFLOP loss surface；
2. 请求量改变部署最优点；
3. 数据重复边际价值衰减；
4. 同一平滑能力曲线切换指标后产生 / 消失“涌现”。

已识别的错误与降级原因

• Grok 错误地将 K3 写成“正式 scaling 论文是否存在仍需核验”；
• 实际 P0 来源为 Kimi K3: Open Frontier Intelligence，提交于 2026-07-27；
• 正式报告 §3.2、Figure 7 明确给出 K2 / K3 fitted scaling-law curves 与约 2.5× author-reported overall scaling efficiency；
• 因此 Grok 输出中的 K3、V4 与产品线数字全部不得直接采用；
• 其他公式、年份与 URL 也必须逐项回到 P0 / P1。

这个错误本身说明了本项目的检索原则：模型可以加速“找什么”，不能替代“证据究竟说了什么”。