llm-atlas/research/NUMERICS_GROK_LEADS.md

数值精度、优化器与训练稳定性 · Grok Discovery Leads

未核验候选，不是正式研究账本。

2026-07-29 使用本机 Grok CLI Headless 扩展论文召回。Grok 被要求不修改工作区、不调用子代理， 只返回原论文、标准与官方技术报告候选。正式结论只进入 NUMERICS_RESEARCH.md， 且必须由主代理重新打开原文、核对版本、章节、公式、实验设置与限制。

---

1. Grok 建议的三条历史主线

A. 数字怎样在机器里活下来

FP32
  → FP16 mixed precision：FP32 master weights + loss scaling + FP32 accumulate
  → BF16：保留 FP32 的指数位宽，牺牲尾数精度
  → FP8 E4M3 / E5M2：按 tensor 缩放，计算与累加分层
  → fine-grained / block scaling：让离群值只影响小组
  → MXFP4：32 个 E2M1 元素共享 E8M0 scale
  → QAT：训练时显式经历部署量化误差

B. 梯度怎样变成参数更新

SGD / Momentum
  → Adam：逐元素一阶矩 + 二阶矩
  → AdamW：把 weight decay 从自适应梯度中解耦
  → Adafactor：矩阵行列因子化二阶矩
  → Shampoo：保留张量结构的预条件
  → μP / μTransfer：让超参数跨宽度迁移
  → Muon：对矩阵 momentum 做 Newton–Schulz 正交化
  → scalable Muon：weight decay + update RMS matching
  → MuonClip / Per-Head Muon / hybrid Muon–AdamW

C. 一次昂贵训练怎样避免突然失控

初始化 / warmup / residual scaling
  → Pre-LN / DeepNorm
  → QK normalization / z-loss / soft-cap
  → 小模型高 LR proxy
  → attention logit 与 SwiGLU outlier 定位
  → QK-Clip / activation clamp / bounded activation
  → 路由、低精度、optimizer state 与集群确定性联合监控

这些只是 discovery taxonomy；三条线互相影响，但不能被压缩成一个“稳定性分数”。

---

2. 候选一手来源

2014–2019：基础格式与自适应优化

年份	候选	原始入口	Grok 给出的检查点
2014	Adam: A Method for Stochastic Optimization	https://arxiv.org/abs/1412.6980	Algorithm 1；一阶/二阶矩与 bias correction
2015	Deep Learning with Limited Numerical Precision	https://arxiv.org/abs/1502.02551	stochastic rounding 与 16-bit fixed-point
2017	Mixed Precision Training	https://arxiv.org/abs/1710.03740	FP32 master weights、loss scaling、FP32 accumulate
2017	Decoupled Weight Decay Regularization	https://arxiv.org/abs/1711.05101	L2 与 adaptive optimizer 中 weight decay 不等价
2017	Quantization and Training of Neural Networks…	https://arxiv.org/abs/1712.05877	simulated quantization、fake quant 与 QAT
2018	Shampoo	https://arxiv.org/abs/1802.09568	tensor-mode preconditioner 与扩展成本
2018	Adafactor	https://arxiv.org/abs/1804.04235	factored second moment、update clipping
2019	A Study of BFLOAT16 for Deep Learning Training	https://arxiv.org/abs/1905.12322	1-8-7 格式与 FP32 同动态范围

2020–2023：QK、μP、FP8、量化与 Microscaling

年份	候选	原始入口	Grok 给出的检查点
2020	GLU Variants Improve Transformer	https://arxiv.org/abs/2002.05202	SwiGLU 原始定义；未讨论低精度 outlier
2020	Query-Key Normalization for Transformers	https://arxiv.org/abs/2010.04245	head 维 L2 norm + learned scale
2021	8-bit Optimizers via Block-wise Quantization	https://arxiv.org/abs/2110.02861	block-wise dynamic quantization 与 stable embedding
2022	DeepNet: Scaling Transformers to 1,000 Layers	https://arxiv.org/abs/2203.00555	residual scaling、初始化与 bounded update
2022	Tensor Programs V / μTransfer	https://arxiv.org/abs/2203.03466	Maximal Update Parametrization 与跨宽度超参迁移
2022	LLM.int8()	https://arxiv.org/abs/2208.07339	emergent outlier features 与 mixed INT8/FP16
2022	FP8 Formats for Deep Learning	https://arxiv.org/abs/2209.05433	E4M3 / E5M2、缩放与 higher-precision output
2022	GPTQ	https://arxiv.org/abs/2210.17323	one-shot weight-only PTQ 与近似二阶补偿
2022	SmoothQuant	https://arxiv.org/abs/2211.10438	把 activation 难度迁移到 weight 的等价变换
2023	Scaling Vision Transformers to 22B	https://arxiv.org/abs/2302.05442	QK LayerNorm 与大规模 logit explosion
2023	Stable and low-precision training…	https://arxiv.org/abs/2304.13013	SwitchBack；Adam 二阶矩低估与 loss spike
2023	QLoRA	https://arxiv.org/abs/2305.14314	NF4、double quant、paged optimizer；训练基座仍冻结
2023	LLM-QAT	https://arxiv.org/abs/2305.17888	data-free distillation、W/A/KV QAT
2023	Small-scale proxies…	https://arxiv.org/abs/2309.14322	高 LR 小模型复现大尺度不稳定
2023	Microscaling Data Formats	https://arxiv.org/abs/2310.10537	32-element block、E8M0 scale、MXFP4 E2M1
2023	FP8-LM	https://arxiv.org/abs/2310.18313	FP8 gradient / communication / optimizer
2023	Spike No More	https://arxiv.org/abs/2312.16903	“小 sublayer、大 shortcut”的 Jacobian 视角

2024–2026：Muon、长程 FP8 与生产级 FP4 QAT

年份	候选	原始入口	Grok 给出的检查点
2024	Deconstructing What Makes a Good Optimizer…	https://arxiv.org/abs/2407.07972	Adam/Adafactor/Lion 对照；尺度只到 1.2B
2024	Scaling FP8 training to trillion-token LLMs	https://arxiv.org/abs/2409.12517	200B Token 后 SwiGLU outlier 与 Smooth-SwiGLU
2024	Methods of improving LLM training stability	https://arxiv.org/abs/2410.16682	QK norm + soft-cap 的中等规模对照
2024	DeepSeek-V3 Technical Report	https://arxiv.org/abs/2412.19437	tile/block scaling、FP32 promotion、精度保留表
2024	Muon: An Optimizer for Hidden Layers…	https://kellerjordan.github.io/posts/muon/	原始技术博文与 Newton–Schulz update
2025	Muon is Scalable for LLM Training	https://arxiv.org/abs/2502.16982	weight decay、update RMS matching、Moonlight
2025	Kimi K2 Technical Report	https://arxiv.org/abs/2507.20534	MuonClip、QK-Clip、per-head trigger
2025	FP4 All the Way	https://arxiv.org/abs/2505.19115	fully quantized FP4 training 与 quantization-noise threshold
2026	PowLU	https://arxiv.org/abs/2605.25704	bounded activation 与 loss-spike 对照
2026	DeepSeek-V4	https://arxiv.org/abs/2606.19348	hybrid Muon、QK RMSNorm、SwiGLU clamp、FP4 QAT
2026	Kimi K3	https://arxiv.org/abs/2607.24653	Per-Head Muon、SiTU-GLU、MXFP4 QAT

---

3. Grok 建议、但首版不直接采用的线索

以下候选存在“过新、标题/版本漂移、只有推文或缺少大规模复现”等风险：

• Pion、NorMuon、Muon+、Newton-Muon 等 2025–2026 Muon 分支；
• “Compositional Muon” 的社交媒体讨论；
• 仅由二手文献转述的某些 SwiGLU-Clip 来源；
• 只有厂商吞吐宣传、没有端到端精度与配方对照的格式页面；
• 把所有 outlier 论文合并成一个统一因果理论的综述式结论。

它们可以进入二轮阅读队列，但不得用来证明 K2/K3/V4 的生产实现。

---

4. 候选视觉与互动

视觉 A：浮点显微镜

• 一个值拆成 sign / exponent / mantissa；
• 同时展示 representable range、相邻格点间距、overflow、underflow；
• FP8 视图必须显示 scale，不允许让读者误以为格式单独工作。

视觉 B：一次 GEMM 的精度流水线

BF16 master / activation
  → group scale
  → FP8 input
  → low-precision multiply
  → higher-precision partial accumulation
  → BF16/FP32 output

必须区分“存储格式、乘法输入、累加器、输出、master weights、optimizer states”。

视觉 C：AdamW vs Muon 更新光谱

• AdamW：逐坐标二阶矩归一；
• Muon：矩阵 momentum → approximate orthogonalization；
• 显示 singular values，而不是把 Muon 错画成完整 SVD；
• Per-Head Muon 按逻辑独立 head 分块。

视觉 D：稳定性控制室

• attention logits；
• activation max / percentile；
• gradient norm；
• weight / update RMS；
• quantization saturation；
• MoE expert outlier；
• 每条防线标记它干预 forward、backward、optimizer 还是 routing。

---

5. 已由主代理回查并纠正的风险

1. “少一半位数”不自动等于“快两倍”。
   速度取决于硬件指令、kernel、shape、cast、scale、通信与内存瓶颈。

2. FP8 training 不是“所有 tensor 都是 FP8”。
   DeepSeek-V3 让 GEMM 输入走 FP8，但 attention、normalization、router、master weights、 accumulated gradients 等关键角色保留 BF16/FP32。

3. MXFP4 不是一个独立标量类型的完整故事。
   标准格式是 32 个 E2M1 元素共享 E8M0 scale；scale 粒度与轴是语义的一部分。

4. PTQ、QAT 与低精度预训练不是同一件事。
   GPTQ/QLoRA 等只回答部分部署或微调问题，不能证明全程 FP4 预训练可行。

5. Muon 的 ~2× 是 Moonlight 报告的 scaling-law 作者结果。
   它不是对所有模型、数据和超参数的普遍定理。

6. K2 的 QK-Clip 与 DeepSeek-V4 的 QK normalization 是结构相关选择。
   K2 报告解释 MLA 中 key 不完全物化带来的约束；V4 的 attention 结构允许直接 RMSNorm。

7. K3 不只是“继续用 MuonClip”。
   报告同时给出 Per-Head Muon、继承 K2 weight clipping、有界 SiTU-GLU， 以及在 post-training 全程对专家权重使用 MXFP4 QAT。

8. DeepSeek-V4 确实披露训练中遇到 spike。
   报告不是“稳定性完美”的宣传，而是公开 Anticipatory Routing 与 SwiGLU clamping 两个经验补丁。

9. 稳定性不是只有 loss 一条曲线。
   logits、activation、gradient、weight、update、scale、router 与系统错误需要分别监控。

---

6. 从候选晋级正式账本的门槛

每条进入正文的结论至少满足：

1. 找到论文 / 标准 / 正式报告的一手入口；
2. 核对标题、版本、作者、年份；
3. 定位到支持结论的章节、公式、图或表；
4. 写清 tensor 角色、格式、group 粒度和计算阶段；
5. 写清模型规模、Token 预算、硬件与 baseline；
6. 区分作者报告、课程推导与标准定义；
7. 同时记录失败条件和不可外推范围；
8. 无法公开确认的实现细节明确写为未知。

这份文件保留 Grok 的“召回价值”，并永久阻止未核验摘要越过证据门槛。