wuyang
64 lines
2.5 KiB
Markdown
64 lines
2.5 KiB
Markdown
# Scaling Laws · Grok Discovery Leads
|
||
|
||
> **未核验线索，不是正式研究账本。**
|
||
>
|
||
> 2026-07-29 通过本机 Grok CLI Headless + web search 生成候选路线。
|
||
> 正式结论只进入 `SCALING_LAWS_RESEARCH.md`，并以论文 / 官方报告原文为准。
|
||
|
||
## Grok 建议的候选主线
|
||
|
||
1. Hestness：跨任务经验幂律；
|
||
2. Kaplan：语言模型的参数、数据与计算幂律；
|
||
3. Chinchilla：固定训练 FLOPs 下的模型—数据近等比例扩展；
|
||
4. Gopher / PaLM / LLaMA：从大而欠训到小而长训；
|
||
5. Emergent Abilities 与 Mirage：能力变化还是指标折射；
|
||
6. Broken Neural Scaling Laws：单一幂律之外的拐点；
|
||
7. data-constrained scaling：有限唯一数据与重复训练；
|
||
8. inference-aware scaling：训练最优与部署最优分离；
|
||
9. over-training 与 downstream task scaling；
|
||
10. DeepSeek 的稀疏激活、MLA、低精度和系统经济性；
|
||
11. Kimi K2 的 token efficiency、MuonClip、rephrasing 与 sparsity scaling；
|
||
12. 预训练 scaling、RL scaling 与 test-time compute 必须分轴。
|
||
|
||
## 候选资源账
|
||
|
||
- 经典交叉熵幂律；
|
||
- compute-optimal allocation；
|
||
- unique / repeated data；
|
||
- over-training；
|
||
- train + inference total cost；
|
||
- emergent metric；
|
||
- Dense / MoE effective compute；
|
||
- hyperparameter scaling；
|
||
- post-training / test-time scaling。
|
||
|
||
## 候选视觉
|
||
|
||
- `N–D–C` 三轴；
|
||
- IsoFLOP 山谷；
|
||
- Kaplan / Chinchilla 射线；
|
||
- TPP 尺子；
|
||
- unique / repeated Token；
|
||
- train-optimal / serve-optimal 双目标；
|
||
- exact match 制造阶跃；
|
||
- broken power law；
|
||
- Dense / MoE 双参数账；
|
||
- DeepSeek / Kimi 双谱系。
|
||
|
||
## 候选互动
|
||
|
||
1. IsoFLOP loss surface；
|
||
2. 请求量改变部署最优点；
|
||
3. 数据重复边际价值衰减；
|
||
4. 同一平滑能力曲线切换指标后产生 / 消失“涌现”。
|
||
|
||
## 已识别的错误与降级原因
|
||
|
||
- Grok 错误地将 K3 写成“正式 scaling 论文是否存在仍需核验”；
|
||
- 实际 P0 来源为 [Kimi K3: Open Frontier Intelligence](https://arxiv.org/abs/2607.24653)，提交于 2026-07-27；
|
||
- 正式报告 §3.2、Figure 7 明确给出 K2 / K3 fitted scaling-law curves 与约 2.5× author-reported overall scaling efficiency；
|
||
- 因此 Grok 输出中的 K3、V4 与产品线数字全部不得直接采用；
|
||
- 其他公式、年份与 URL 也必须逐项回到 P0 / P1。
|
||
|
||
这个错误本身说明了本项目的检索原则：模型可以加速“找什么”，不能替代“证据究竟说了什么”。
|