# Scaling Laws · Grok Discovery Leads

> **未核验线索，不是正式研究账本。**
>
> 2026-07-29 通过本机 Grok CLI Headless + web search 生成候选路线。  
> 正式结论只进入 `SCALING_LAWS_RESEARCH.md`，并以论文 / 官方报告原文为准。

## Grok 建议的候选主线

1. Hestness：跨任务经验幂律；
2. Kaplan：语言模型的参数、数据与计算幂律；
3. Chinchilla：固定训练 FLOPs 下的模型—数据近等比例扩展；
4. Gopher / PaLM / LLaMA：从大而欠训到小而长训；
5. Emergent Abilities 与 Mirage：能力变化还是指标折射；
6. Broken Neural Scaling Laws：单一幂律之外的拐点；
7. data-constrained scaling：有限唯一数据与重复训练；
8. inference-aware scaling：训练最优与部署最优分离；
9. over-training 与 downstream task scaling；
10. DeepSeek 的稀疏激活、MLA、低精度和系统经济性；
11. Kimi K2 的 token efficiency、MuonClip、rephrasing 与 sparsity scaling；
12. 预训练 scaling、RL scaling 与 test-time compute 必须分轴。

## 候选资源账

- 经典交叉熵幂律；
- compute-optimal allocation；
- unique / repeated data；
- over-training；
- train + inference total cost；
- emergent metric；
- Dense / MoE effective compute；
- hyperparameter scaling；
- post-training / test-time scaling。

## 候选视觉

- `N–D–C` 三轴；
- IsoFLOP 山谷；
- Kaplan / Chinchilla 射线；
- TPP 尺子；
- unique / repeated Token；
- train-optimal / serve-optimal 双目标；
- exact match 制造阶跃；
- broken power law；
- Dense / MoE 双参数账；
- DeepSeek / Kimi 双谱系。

## 候选互动

1. IsoFLOP loss surface；
2. 请求量改变部署最优点；
3. 数据重复边际价值衰减；
4. 同一平滑能力曲线切换指标后产生 / 消失“涌现”。

## 已识别的错误与降级原因

- Grok 错误地将 K3 写成“正式 scaling 论文是否存在仍需核验”；
- 实际 P0 来源为 [Kimi K3: Open Frontier Intelligence](https://arxiv.org/abs/2607.24653)，提交于 2026-07-27；
- 正式报告 §3.2、Figure 7 明确给出 K2 / K3 fitted scaling-law curves 与约 2.5× author-reported overall scaling efficiency；
- 因此 Grok 输出中的 K3、V4 与产品线数字全部不得直接采用；
- 其他公式、年份与 URL 也必须逐项回到 P0 / P1。

这个错误本身说明了本项目的检索原则：模型可以加速“找什么”，不能替代“证据究竟说了什么”。