research: map llm scaling laws

research/SCALING_LAWS_GROK_LEADS.md

@@ -0,0 +1,63 @@
+# Scaling Laws · Grok Discovery Leads
+
+> **未核验线索，不是正式研究账本。**
+>
+> 2026-07-29 通过本机 Grok CLI Headless + web search 生成候选路线。  
+> 正式结论只进入 `SCALING_LAWS_RESEARCH.md`，并以论文 / 官方报告原文为准。
+
+## Grok 建议的候选主线
+
+1. Hestness：跨任务经验幂律；
+2. Kaplan：语言模型的参数、数据与计算幂律；
+3. Chinchilla：固定训练 FLOPs 下的模型—数据近等比例扩展；
+4. Gopher / PaLM / LLaMA：从大而欠训到小而长训；
+5. Emergent Abilities 与 Mirage：能力变化还是指标折射；
+6. Broken Neural Scaling Laws：单一幂律之外的拐点；
+7. data-constrained scaling：有限唯一数据与重复训练；
+8. inference-aware scaling：训练最优与部署最优分离；
+9. over-training 与 downstream task scaling；
+10. DeepSeek 的稀疏激活、MLA、低精度和系统经济性；
+11. Kimi K2 的 token efficiency、MuonClip、rephrasing 与 sparsity scaling；
+12. 预训练 scaling、RL scaling 与 test-time compute 必须分轴。
+
+## 候选资源账
+
+- 经典交叉熵幂律；
+- compute-optimal allocation；
+- unique / repeated data；
+- over-training；
+- train + inference total cost；
+- emergent metric；
+- Dense / MoE effective compute；
+- hyperparameter scaling；
+- post-training / test-time scaling。
+
+## 候选视觉
+
+- `N–D–C` 三轴；
+- IsoFLOP 山谷；
+- Kaplan / Chinchilla 射线；
+- TPP 尺子；
+- unique / repeated Token；
+- train-optimal / serve-optimal 双目标；
+- exact match 制造阶跃；
+- broken power law；
+- Dense / MoE 双参数账；
+- DeepSeek / Kimi 双谱系。
+
+## 候选互动
+
+1. IsoFLOP loss surface；
+2. 请求量改变部署最优点；
+3. 数据重复边际价值衰减；
+4. 同一平滑能力曲线切换指标后产生 / 消失“涌现”。
+
+## 已识别的错误与降级原因
+
+- Grok 错误地将 K3 写成“正式 scaling 论文是否存在仍需核验”；
+- 实际 P0 来源为 [Kimi K3: Open Frontier Intelligence](https://arxiv.org/abs/2607.24653)，提交于 2026-07-27；
+- 正式报告 §3.2、Figure 7 明确给出 K2 / K3 fitted scaling-law curves 与约 2.5× author-reported overall scaling efficiency；
+- 因此 Grok 输出中的 K3、V4 与产品线数字全部不得直接采用；
+- 其他公式、年份与 URL 也必须逐项回到 P0 / P1。
+
+这个错误本身说明了本项目的检索原则：模型可以加速“找什么”，不能替代“证据究竟说了什么”。