wuyang
1098 lines
37 KiB
Markdown
1098 lines
37 KiB
Markdown
# 数值精度、优化器与训练稳定性研究账本
|
||
|
||
> 状态：第一轮证据框架
|
||
> 研究截止：2026-07-29
|
||
> 课程位置：专题 09「数值精度、优化器与训练稳定性」
|
||
> 锚点：Kimi K2 §2.1 / Appendix D–E、Kimi K3 §2.3 / §2.5 / §3.3 / §4.1.4 / §5.2.2、DeepSeek LLM §2.4、DeepSeek-V3 §3.3 / Appendix B、DeepSeek-V4 §2.4 / §3.4.1 / §4.2.3 / §5.2.1
|
||
> 目标：让读者理解“一个数怎样表示、一次乘法怎样累加、一个梯度怎样变成矩阵更新、一次训练为什么突然崩掉”，并能准确阅读 FP8、MXFP4、Muon、QK-Clip 与 QAT 报告。
|
||
> 原则：P0 原论文 / 正式技术报告 / 开放标准优先；P1 作者实现与技术博文用于定义原始 Muon；Grok 只提供 discovery leads；所有性能数字保留作者报告边界。
|
||
|
||
---
|
||
|
||
## 0. 本章先拆掉五个误区
|
||
|
||
### 误区一：模型用 FP8 训练，就是所有东西都变成 FP8
|
||
|
||
不是。一个训练 step 至少包含：
|
||
|
||
```text
|
||
参数存储
|
||
→ 前向输入
|
||
→ 乘法
|
||
→ 部分和累加
|
||
→ 激活输出
|
||
→ 反向激活梯度
|
||
→ 权重梯度
|
||
→ 跨卡通信
|
||
→ optimizer moments
|
||
→ master weights
|
||
→ checkpoint
|
||
```
|
||
|
||
每个角色可以用不同格式。DeepSeek-V3 的核心 GEMM 输入用 FP8，但 embedding、output head、
|
||
attention、normalization、router 等保留 BF16 / FP32；master weights、累计梯度保留 FP32，
|
||
optimizer moments 可用 BF16。把这套“混合角色”写成“全 FP8”会直接误导。
|
||
|
||
### 误区二：位数减半，速度必然翻倍
|
||
|
||
位数变少可以降低：
|
||
|
||
- 每个值的存储字节；
|
||
- HBM 与互连搬运的字节；
|
||
- 某些硬件矩阵单元的面积和能耗；
|
||
- 特定芯片上的矩阵乘峰值成本。
|
||
|
||
但端到端速度还取决于：
|
||
|
||
- 芯片是否有原生指令；
|
||
- shape 是否匹配 Tensor Core；
|
||
- quantize / dequantize / scale 的开销；
|
||
- 累加是否要频繁 promotion；
|
||
- kernel 是否融合；
|
||
- 工作负载是 compute-bound 还是 memory / communication-bound；
|
||
- 未量化算子占比。
|
||
|
||
因此页面只展示“理论数据量 / 指定硬件能力”，不把它冒充真实训练 speedup。
|
||
|
||
### 误区三：低精度只是“小数不够准”
|
||
|
||
低精度至少有三种不同失败：
|
||
|
||
1. **Overflow**：绝对值超过最大可表示范围，变成饱和、Inf 或 NaN；
|
||
2. **Underflow**：太小的值变成 subnormal 或 0；
|
||
3. **Rounding noise**：仍在范围内，但落到相邻格点，细小更新被吞掉。
|
||
|
||
Exponent 位主要决定“能装多大 / 多小”，mantissa 位主要决定“同一数量级内能分多细”。
|
||
scale 可以移动可表示窗口，却不能凭空增加格点数量。
|
||
|
||
### 误区四：优化器稳定，模型就稳定
|
||
|
||
一次 loss spike 可能来自：
|
||
|
||
- attention logits；
|
||
- residual / layer depth；
|
||
- SwiGLU 乘法 outlier；
|
||
- Adam 二阶矩滞后；
|
||
- Muon update spectrum；
|
||
- MoE router 与 expert outlier 的反馈；
|
||
- 低精度 scale / accumulator；
|
||
- 数据异常；
|
||
- kernel / collective / hardware 错误。
|
||
|
||
优化器只是一层。K3 同时用 Per-Head Muon、weight clipping、RMSNorm、SiTU-GLU；
|
||
DeepSeek-V4 同时用 hybrid Muon、QK RMSNorm、SwiGLU clamping、Anticipatory Routing 和确定性 kernel。
|
||
|
||
### 误区五：PTQ、QAT、低精度微调、低精度预训练是一回事
|
||
|
||
| 范畴 | 什么时候量化 | 参数是否继续学 | 主要目标 |
|
||
|---|---|---|---|
|
||
| PTQ | 完成训练后 | 通常不做全模型训练 | 快速压缩部署 |
|
||
| QAT | 训练 / 微调时模拟或执行量化 | 是 | 让模型适应量化误差 |
|
||
| QLoRA 类 | 基座 4-bit 存储，adapter 训练 | 基座通常冻结 | 降低微调显存 |
|
||
| 低精度预训练 | 从头或长程训练中低精度计算 | 是 | 降低训练计算 / 通信 / 激活成本 |
|
||
| Fully quantized training | W/A/G 等广泛低精度 | 是 | 把训练本身推进到极低位 |
|
||
|
||
一句话总纲：
|
||
|
||
> 数值工程不是选一个 dtype；它是在一条完整训练与部署数据流里，为每种 tensor 角色分配范围、精度、存储、计算与恢复防线。
|
||
|
||
---
|
||
|
||
## 1. 十张不能混在一起的账
|
||
|
||
| 账本 | 核心问题 | 最小字段 | 常见误读 |
|
||
|---|---|---|---|
|
||
| N1 表示 | 一个 bit pattern 代表什么值 | sign / exponent / mantissa、subnormal、NaN/Inf | 只比较 bit 数 |
|
||
| N2 缩放 | 可表示窗口怎样移动 | per-tensor / channel / token / tile / block、scale dtype、axis | 把 block scale 当无成本 |
|
||
| N3 计算 | 哪些算子真正用低精度乘法 | operator、input dtype、hardware instruction | “模型 FP8”=所有算子 FP8 |
|
||
| N4 累加 | 小乘积在哪里、以多少位求和 | accumulator、promotion interval、reduction tree | 只看输入 dtype |
|
||
| N5 存储与通信 | 哪些 tensor 以低精度缓存 / 发送 | activation、gradient、optimizer state、KV、checkpoint | 计算快=显存也同比下降 |
|
||
| N6 更新 | 梯度如何变成参数更新 | momentum、preconditioner、update RMS、weight decay | AdamW 与 Muon 只是不同公式名 |
|
||
| N7 参数化 | 宽度、深度、head 如何改变更新尺度 | init、μP、logical matrix、head partition | 小模型超参直接复制 |
|
||
| N8 稳定性 | 哪个可观测量先异常 | max / percentile / norm / spectrum / saturation | 只看 loss |
|
||
| N9 恢复 | 异常时怎样止损和复现 | detect、skip、clip、rollback、determinism、checkpoint | rollback 等于解决根因 |
|
||
| N10 证据与经济 | 增益对什么基线、硬件与预算成立 | model、Token、hardware、quality、wall-clock、energy | 作者峰值吞吐外推到所有系统 |
|
||
|
||
---
|
||
|
||
## 2. 浮点数显微镜
|
||
|
||
### 2.1 三个字段
|
||
|
||
典型二进制浮点数可写成：
|
||
|
||
```text
|
||
(-1)^sign × significand × 2^exponent
|
||
```
|
||
|
||
- sign：正负；
|
||
- exponent：数量级；
|
||
- mantissa / fraction：同一数量级中的细分；
|
||
- normal 数通常有隐含 leading 1；
|
||
- subnormal 用更少有效位换取逐渐下溢；
|
||
- 特殊编码可用于 ±0、Inf、NaN。
|
||
|
||
### 2.2 常见格式对照
|
||
|
||
| 格式 | 位布局 | 约最大有限值 | 最小 normal | 单位附近间距 | 直觉 |
|
||
|---|---:|---:|---:|---:|---|
|
||
| FP32 | 1 / 8 / 23 | 3.4e38 | 1.18e-38 | 1.19e-7 | 范围和精度都宽，成本高 |
|
||
| FP16 | 1 / 5 / 10 | 65,504 | 6.10e-5 | 9.77e-4 | 尾数较细，范围明显窄 |
|
||
| BF16 | 1 / 8 / 7 | 3.4e38 | 1.18e-38 | 7.81e-3 | 保留 FP32 范围，牺牲细度 |
|
||
| FP8 E4M3 | 1 / 4 / 3 | 448 | 1.56e-2 | 1.25e-1 | 更精细，范围较窄 |
|
||
| FP8 E5M2 | 1 / 5 / 2 | 57,344 | 6.10e-5 | 2.5e-1 | 范围更宽，格点更粗 |
|
||
| MXFP4 | block scale + E2M1 element | 取决于共享 scale | 取决于共享 scale | 极粗 | 用局部共享尺度补偿 4-bit 元素 |
|
||
|
||
注意：
|
||
|
||
- “单位附近间距”是教学用 machine epsilon 直觉，不等于全数轴统一误差；
|
||
- E4M3 / E5M2 数字按 FP8 Formats 论文定义；
|
||
- MXFP4 必须连同 block size、scale dtype 与 axis 一起描述。
|
||
|
||
### 2.3 为什么 BF16 比 FP16 更适合大模型训练
|
||
|
||
Kalamkar et al. 2019：
|
||
|
||
- BF16 与 FP32 都用 8-bit exponent，因此动态范围相近；
|
||
- BF16 尾数只有 7 bits，因此细节精度低于 FP16；
|
||
- 论文在多种工作负载上报告无需 FP16 那样的 loss-scaling 调参即可匹配 FP32。
|
||
|
||
不能外推成：
|
||
|
||
- BF16 永不 overflow；
|
||
- BF16 所有算子都足够准确；
|
||
- optimizer state / gradient accumulation 可随意降到 BF16。
|
||
|
||
DeepSeek LLM 的公开做法正体现边界：主训练 BF16，但梯度在 FP32 累加；
|
||
cross entropy kernel 按需把 BF16 logits 转 FP32。
|
||
|
||
### 2.4 Rounding 不是无害格式转换
|
||
|
||
确定性 round-to-nearest：
|
||
|
||
- 可重复；
|
||
- 很小的同方向更新可能反复变 0。
|
||
|
||
stochastic rounding：
|
||
|
||
- 按相邻格点距离随机选择；
|
||
- 期望上可以保持无偏；
|
||
- 会引入随机性与实现成本；
|
||
- 对低精度梯度同步 / update 尤其重要。
|
||
|
||
Gupta et al. 2015 在 16-bit fixed-point 训练中展示 stochastic rounding 的关键作用；
|
||
DeepSeek-V4 在把 MoE gradient 通信量化到 BF16 时明确使用 stochastic rounding，
|
||
再在本地 FP32 求和，避免低精度 collective 累加误差。
|
||
|
||
---
|
||
|
||
## 3. 从 FP16 mixed precision 到 FP8 / MXFP4
|
||
|
||
### 3.1 2017：mixed precision 三件套
|
||
|
||
Micikevicius et al. 2017/2018 §3：
|
||
|
||
1. **FP32 master weights**
|
||
forward / backward 使用 FP16 copy；真正累积小 update 的 master copy 保留 FP32。
|
||
|
||
2. **Loss scaling**
|
||
放大 loss，使反向小梯度进入 FP16 可表示范围；更新前再 unscale。
|
||
|
||
3. **FP32 accumulation**
|
||
FP16 乘积在 FP32 输出中累加，再按需要写回较低精度。
|
||
|
||
关键边界：
|
||
|
||
- FP16 小于 `2^-24` 的值会变 0；
|
||
- scale 太大又会 overflow；
|
||
- overflow 后更新权重会产生不可逆 NaN，因此动态 loss scaling 会检测并跳过 step；
|
||
- “乘法输入低精度、累加高精度”从一开始就是核心，而不是后来补丁。
|
||
|
||
### 3.2 2022：FP8 是两个格式，不是一个
|
||
|
||
FP8 Formats for Deep Learning：
|
||
|
||
- E4M3：4 exponent + 3 mantissa，推荐 weight / activation；
|
||
- E5M2：5 exponent + 2 mantissa，推荐 gradient；
|
||
- 输入需通过 scale 移入可表示区间；
|
||
- 输出通常以更高精度产生；
|
||
- nonlinear、normalization、optimizer update 等可保留高精度；
|
||
- 是否使用 per-tensor scale 由网络决定。
|
||
|
||
论文自己的限制：
|
||
|
||
- 格式论文不规定 scale heuristic；
|
||
- 许多训练实验是模拟格式，而不是同一硬件上的端到端系统结果；
|
||
- FP8 并不取消混合精度，只把角色划分做得更细。
|
||
|
||
### 3.3 2023：Microscaling 的关键不是 FP4，而是“局部共享范围”
|
||
|
||
Rouhani et al. 2023 §2：
|
||
|
||
```text
|
||
MX block = one shared scale X + k scalar elements P1…Pk
|
||
real value vi = X × Pi
|
||
```
|
||
|
||
公开 concrete formats：
|
||
|
||
- block size `k = 32`；
|
||
- scale format `E8M0`；
|
||
- MXFP8 element：E4M3 / E5M2；
|
||
- MXFP6 element：E2M3 / E3M2；
|
||
- MXFP4 element：E2M1；
|
||
- MXINT8 element：INT8。
|
||
|
||
粒度变小的收益：
|
||
|
||
- 一个极端 outlier 只压缩同 block 的有效精度；
|
||
- sub-8-bit 才有机会覆盖复杂 tensor 分布。
|
||
|
||
代价：
|
||
|
||
- 每 32 个值多一个 scale；
|
||
- scale axis 是语义的一部分；
|
||
- transpose 可能改变 scale axis，量化与 transpose 不可交换；
|
||
- conversion recipe 与 clipping 会影响结果；
|
||
- vector op 仍常用 BF16 / FP32。
|
||
|
||
### 3.4 DeepSeek-V3：FP8 成功靠的是一整套角色分配
|
||
|
||
DeepSeek-V3 §3.3：
|
||
|
||
#### GEMM
|
||
|
||
- Fprop、Dgrad、Wgrad 的核心 GEMM 输入使用 FP8；
|
||
- 输出为 BF16 或 FP32；
|
||
- embedding、output head、MoE gate、normalization、attention 保留原精度；
|
||
- master weights、weight gradients、optimizer states 保留更高精度。
|
||
|
||
#### Fine-grained scale
|
||
|
||
- activation：`1 × 128` tile，即 per token / 128 channels；
|
||
- weight：`128 × 128` block；
|
||
- 在线按当前 tile / block 计算 scale；
|
||
- 全部 tensor 使用 E4M3，依靠细粒度 scale 弥补 E5M2 范围。
|
||
|
||
#### Accumulation
|
||
|
||
- H800 Tensor Core FP8 accumulation 作者测得约 14-bit；
|
||
- 每 `Nc = 128` 个元素将 partial result promotion 到 CUDA Core FP32 register；
|
||
- scale 乘法与 promotion 一起完成；
|
||
- 这是精度—吞吐折中，不是免费 FP32 accumulate。
|
||
|
||
#### Storage / communication
|
||
|
||
- AdamW first / second moments 用 BF16；
|
||
- master weights 与 gradient accumulation 用 FP32；
|
||
- backward cached activations 可用 FP8；
|
||
- 对 attention backward 敏感激活使用自定义 E5M6；
|
||
- MoE dispatch 可 FP8，combine 保留 BF16。
|
||
|
||
#### 证据边界
|
||
|
||
- 两个约 16B / 230B baseline、约 1T / 0.9T Token 对照中，相对 BF16 loss error < 0.25%；
|
||
- Appendix B.2 报告：把 Dgrad activation gradient 改成 `128 × 128` block quantization，
|
||
16B MoE 在约 300B Token 发散；
|
||
- 因此“更规整 block 更好实现”并不等于数值上可接受。
|
||
|
||
### 3.5 2024：长程训练暴露短实验看不到的 SwiGLU 问题
|
||
|
||
Fishman et al. 2024：
|
||
|
||
- 短程 FP8 实验可能看不见后期 outlier；
|
||
- 其 Llama2-7B 实验在约 200B Token 后出现 activation outlier 和 FP8 loss divergence；
|
||
- 论文把它连接到 SwiGLU 两支 weight 向量的长期对齐；
|
||
- SwiGLU 在大正输入时近似两个线性项相乘，可呈二次增长；
|
||
- Smooth-SwiGLU 通过 per-channel scale 抑制进入量化层的 outlier，再在后续权重中吸收逆 scale。
|
||
|
||
边界：
|
||
|
||
- 这是指定 Llama2 / FP8 delayed-scaling 配方上的作者结果；
|
||
- 不能证明所有 SwiGLU 模型都会在同 Token 发生同样失稳；
|
||
- 但它解释了为什么完整训练时长是低精度验证的一部分。
|
||
|
||
### 3.6 2025–2026：FP4 的三种完全不同路径
|
||
|
||
1. **FP4 All the Way**
|
||
研究从头 fully quantized training；W/A/G 广泛 FP4，探索 NVFP4、rounding 和 quantization-noise threshold。
|
||
|
||
2. **DeepSeek-V4 FP4 QAT**
|
||
post-training 阶段把 MoE expert weights 与 CSA indexer QK path 纳入 MXFP4 QAT；
|
||
FP32 master → FP4 → lossless dequant to FP8（在其 scale 条件下）→ compute；
|
||
backward 用 STE 传回 FP32 master。
|
||
|
||
3. **Kimi K3 deployment-aware QAT**
|
||
从 SFT 开始贯穿 RL；MoE expert weights 用 MXFP4，activation compute 用 MXFP8；
|
||
attention projection、latent MoE projection、shared expert、router 保留更高精度；
|
||
rollout 与 training 使用相同量化方案以减少 train–inference mismatch。
|
||
|
||
不能把三者混成“2026 模型都用 FP4 预训练”。
|
||
|
||
---
|
||
|
||
## 4. 量化：对象、粒度、时机
|
||
|
||
### 4.1 仿射量化的最小模型
|
||
|
||
常见 uniform affine quantization：
|
||
|
||
```text
|
||
q = clamp(round(x / scale) + zero_point)
|
||
x_hat = scale × (q - zero_point)
|
||
```
|
||
|
||
- symmetric：zero point 通常为 0；
|
||
- asymmetric：允许区间中心偏移；
|
||
- per-tensor：整 tensor 一个 scale；
|
||
- per-channel：每输出 / 输入 channel 一个 scale；
|
||
- per-token：每 Token 一个 activation / KV scale；
|
||
- group / block：一小组共享 scale。
|
||
|
||
### 4.2 PTQ
|
||
|
||
GPTQ：
|
||
|
||
- one-shot weight-only PTQ；
|
||
- 用 calibration activation 和近似二阶信息补偿量化误差；
|
||
- 作者报告可在约 4 GPU-hours 内量化 OPT-175B 到 3/4 bit；
|
||
- 不代表 activation、KV、训练梯度都已量化。
|
||
|
||
SmoothQuant：
|
||
|
||
- 对数学等价的 channel rescaling，把 activation outlier 难度迁移到 weight；
|
||
- 主要服务 W8A8 inference；
|
||
- 仍需校准 scale，且低到 4-bit 时问题不同。
|
||
|
||
### 4.3 QAT
|
||
|
||
Jacob et al. 2018 §3：
|
||
|
||
- 变量与主计算仍以 floating point 保存；
|
||
- forward 插入 fake quantization，模拟 inference rounding / clamp；
|
||
- backward 继续传梯度；
|
||
- fake-quant 节点位置必须匹配真实部署图。
|
||
|
||
LLM-QAT：
|
||
|
||
- 用模型自身生成数据做 data-free distillation；
|
||
- 同时研究 weight、activation、KV cache；
|
||
- 作者在 LLaMA 7B/13B/30B 上报告低于 8 bit 时优于其 PTQ baseline；
|
||
- 论文也明确 4-bit activation 在其设置中仍不理想。
|
||
|
||
### 4.4 QLoRA 的精确边界
|
||
|
||
QLoRA：
|
||
|
||
- frozen pretrained base 用 4-bit NF4 storage；
|
||
- 计算时 dequant 到 BF16；
|
||
- 训练 LoRA adapter，而不是完整 4-bit base update；
|
||
- double quant 减少 scale 元数据；
|
||
- paged optimizer 处理长序列显存峰值。
|
||
|
||
所以 QLoRA 证明“低显存微调可行”，不证明“从头 4-bit 预训练等价”。
|
||
|
||
---
|
||
|
||
## 5. 优化器：从逐坐标到矩阵几何
|
||
|
||
### 5.1 SGD / Momentum
|
||
|
||
```text
|
||
m_t = μ m_(t-1) + g_t
|
||
θ_t = θ_(t-1) - η m_t
|
||
```
|
||
|
||
优点：
|
||
|
||
- 状态少；
|
||
- 更新含义直接；
|
||
- 通信 / sharding 容易。
|
||
|
||
LLM 常见困难：
|
||
|
||
- 不同参数坐标 / layer 的梯度尺度差异大；
|
||
- 高 LR 可用区间窄；
|
||
- 要靠参数化、归一化和精细 schedule 补偿。
|
||
|
||
### 5.2 Adam
|
||
|
||
```text
|
||
m_t = β1 m_(t-1) + (1-β1) g_t
|
||
v_t = β2 v_(t-1) + (1-β2) g_t²
|
||
m_hat, v_hat = bias correction
|
||
θ_t = θ_(t-1) - η m_hat / (sqrt(v_hat) + ε)
|
||
```
|
||
|
||
直觉：
|
||
|
||
- momentum 平滑方向；
|
||
- second moment 给每个坐标不同步长；
|
||
- 小梯度坐标不必永远被大尺度坐标淹没。
|
||
|
||
代价：
|
||
|
||
- 两份状态；
|
||
- 逐元素 preconditioning 丢掉矩阵结构；
|
||
- `ε`、β2 与长程非平稳梯度会影响实际更新；
|
||
- optimizer state 常成为显存主项。
|
||
|
||
### 5.3 AdamW：weight decay 不是 L2 penalty 的别名
|
||
|
||
在 SGD 中，L2 gradient 与 weight decay 可在适当缩放下等价；
|
||
在 Adam 中，若把 `λθ` 混入 gradient，它也会被 `v_t` 的自适应分母改变。
|
||
|
||
AdamW：
|
||
|
||
```text
|
||
θ_t = (1 - ηλ) θ_(t-1) - AdamUpdate(g_t)
|
||
```
|
||
|
||
把“根据 loss 更新”与“直接收缩权重”分开。
|
||
|
||
### 5.4 Adafactor：省的是 second moment，不是免费 Adam
|
||
|
||
对矩阵 `V ∈ R^(n×m)`，不保存每元素 second moment，
|
||
而保存 row / column statistics，用 `O(n+m)` 近似 `O(nm)`。
|
||
|
||
论文还强调：
|
||
|
||
- 去掉 momentum 可再省一份状态；
|
||
- stale second-moment estimator 可造成过大 update；
|
||
- update clipping 应裁真正的 adaptive update，而不仅是原始 gradient；
|
||
- relative step size 把参数 RMS 纳入步长。
|
||
|
||
### 5.5 Shampoo：保留矩阵 / tensor 结构
|
||
|
||
Shampoo 为张量每个 mode 维护预条件统计，并对 gradient 做 Kronecker 型变换。
|
||
|
||
收益：
|
||
|
||
- 比逐坐标 Adam 更尊重矩阵结构；
|
||
- 为后来的矩阵级 optimizer 提供对照。
|
||
|
||
代价：
|
||
|
||
- 预条件矩阵与矩阵根昂贵；
|
||
- 大模型需要 blocking、低频更新和分布式实现；
|
||
- 首版课程只作为“结构化 preconditioner”桥梁，不给出生产优胜排名。
|
||
|
||
### 5.6 μP：不是 optimizer，而是让 scale-up 的更新语义一致
|
||
|
||
Tensor Programs V：
|
||
|
||
- standard parametrization 下，宽度变化会改变 activation / update 尺度；
|
||
- Maximal Update Parametrization 设计不同 parameter group 的 init / LR scaling；
|
||
- 在作者实验中，小代理模型调出的超参数可零样本迁移到更宽模型。
|
||
|
||
边界：
|
||
|
||
- 主要解决宽度，不自动覆盖深度、数据、batch、optimizer 切换；
|
||
- 实现需要正确区分 matrix-like 与 vector-like 参数；
|
||
- 它与 optimizer 可以组合，不是 Adam / Muon 的直接替代。
|
||
|
||
### 5.7 Muon：对 momentum matrix 做 approximate orthogonalization
|
||
|
||
原始 Muon / Moonlight 公式：
|
||
|
||
```text
|
||
M_t = μ M_(t-1) + G_t
|
||
O_t = NewtonSchulz(M_t) ≈ U V^T
|
||
W_t = W_(t-1) - η O_t
|
||
```
|
||
|
||
若 `M = UΣVᵀ`，`UVᵀ` 可视作把非零 singular values 拉近 1，
|
||
从而避免 update 只沿少数 dominant direction。
|
||
|
||
重要澄清：
|
||
|
||
- 生产实现不做完整 SVD；
|
||
- Newton–Schulz 用矩阵乘迭代近似；
|
||
- 只适合 logically independent 2D matrix parameter；
|
||
- embedding、norm、bias、head 等常由 AdamW 处理；
|
||
- 矩阵 shape 与 partition 会改变 update RMS。
|
||
|
||
### 5.8 “Muon is Scalable” 的两个关键补丁
|
||
|
||
Moonlight / Liu et al. 2025：
|
||
|
||
1. **Weight decay**
|
||
vanilla Muon 长训时 weight / layer output RMS 增长，甚至越过 BF16 高精度范围；
|
||
加 AdamW-style decay 改善作者 over-train 实验。
|
||
|
||
2. **Consistent update RMS**
|
||
full-rank `A×B` matrix 的理论 Muon update RMS 约 `1/sqrt(max(A,B))`；
|
||
论文乘 `sqrt(max(A,B)) × 0.2`，让矩阵间尺度一致并复用 AdamW LR。
|
||
|
||
作者报告：
|
||
|
||
- compute-optimal scaling 实验约 2× compute efficiency；
|
||
- 相同 loss 约需 AdamW 52% FLOPs；
|
||
- Moonlight 3B / 16B MoE 训练 5.7T Token。
|
||
|
||
这些是指定模型族与调参协议的作者结果，不是 Muon 普遍定理。
|
||
|
||
### 5.9 Kimi K2：MuonClip
|
||
|
||
K2 观察：
|
||
|
||
- Muon 在大尺度更容易出现 attention logit explosion；
|
||
- 9B-active / 53B-total 中间实验 vanilla Muon max logits 很快超过 1000；
|
||
- attention logit 由 `QKᵀ / sqrt(d)` 决定，Q / K weight spectral norm 增长会被乘积放大。
|
||
|
||
QK-Clip：
|
||
|
||
```text
|
||
Smax_h = per-head max pre-softmax logit
|
||
γ_h = min(1, τ / Smax_h)
|
||
rescale head-specific Q / K weights after optimizer step
|
||
```
|
||
|
||
MLA 细节：
|
||
|
||
- `qC`、`kC` 各乘 `sqrt(γ_h)`；
|
||
- `qR` 乘 `γ_h`；
|
||
- shared `kR` 不动，避免影响其他 heads。
|
||
|
||
K2 设置：
|
||
|
||
- `τ = 100`；
|
||
- 前 70k steps 有 12.7% heads 至少触发一次；
|
||
- 后期自行降到阈值下，clip 不再触发；
|
||
- 报告 15.5T Token 训练未观察 loss spike。
|
||
|
||
作者假说而非定理：
|
||
|
||
- Muon update spectrum 更高 rank；
|
||
- weight 与 update singular direction 更可能对齐；
|
||
- `Wq Wkᵀ` 再放大 spectral norm。
|
||
|
||
### 5.10 Kimi K3：Per-Head Muon
|
||
|
||
K3 不对完整 Q / K / V projection momentum 统一正交化，而按 head block 分开：
|
||
|
||
- 避免大 scale head 主导共享矩阵 update；
|
||
- 让不同 head update scale 更均衡；
|
||
- tall per-head block 的 Newton–Schulz 更便宜；
|
||
- 报告称提升大尺度训练稳定性。
|
||
|
||
训练 recipe 同时保留 K2 weight clipping，因此：
|
||
|
||
```text
|
||
Per-Head Muon = 更新几何
|
||
QK-Clip = 越界保护
|
||
```
|
||
|
||
不能把两者合成一个算法名，也不能说 Per-Head Muon 已取代 QK-Clip。
|
||
|
||
### 5.11 DeepSeek-V4：Hybrid Muon–AdamW
|
||
|
||
DeepSeek-V4：
|
||
|
||
- majority modules：Muon；
|
||
- embedding、prediction head、mHC static bias / gate、RMSNorm weights：AdamW；
|
||
- Muon momentum `0.95`、weight decay `0.1`、update RMS scale `0.18`；
|
||
- hybrid Newton–Schulz：前 8 次快速系数，后 2 次稳定到 singular value 1；
|
||
- Q / KV 可直接 RMSNorm，因此不使用 K2 QK-Clip。
|
||
|
||
系统实现：
|
||
|
||
- dense matrix 通过受限 ZeRO group 与 knapsack 分配；
|
||
- MoE expert matrix 保持逻辑独立，不切断单矩阵；
|
||
- 相同 shape 合并做 batched Newton–Schulz；
|
||
- BF16 matrix multiplication 做 NS；
|
||
- MoE gradient stochastic-round 到 BF16 通信，再本地 FP32 sum。
|
||
|
||
这说明 optimizer 公式、参数分组与分布式拓扑是一个整体。
|
||
|
||
---
|
||
|
||
## 6. 稳定性不是一个故障，而是五条反馈环
|
||
|
||
### 6.1 深度 / residual 反馈
|
||
|
||
症状：
|
||
|
||
- model update 随深度累积；
|
||
- residual branch 过大；
|
||
- gradient vanishing / exploding；
|
||
- early training 直接卡进坏状态。
|
||
|
||
防线：
|
||
|
||
- warmup；
|
||
- scaled initialization；
|
||
- Pre-LN / RMSNorm；
|
||
- residual scaling；
|
||
- DeepNorm；
|
||
- K3 Block AttnRes / DeepSeek mHC 等新结构需各自稳定性证明。
|
||
|
||
DeepNet：
|
||
|
||
- 把 Post-LN 失稳定位为 early model update 过大；
|
||
- 用 residual up-scaling + branch weight down-scaling 让更新随深度有界；
|
||
- 作者展示可训练 1000-layer Transformer。
|
||
|
||
### 6.2 Attention logit 反馈
|
||
|
||
```text
|
||
weight norm / spectral norm ↑
|
||
→ ||Q||, ||K|| ↑
|
||
→ max(QKᵀ) ↑
|
||
→ softmax 近 one-hot，entropy ↓
|
||
→ gradient 与 head dynamics 更尖锐
|
||
→ 进一步推动 weight growth
|
||
```
|
||
|
||
可选防线：
|
||
|
||
- QK L2 normalization + learned temperature；
|
||
- QK LayerNorm / RMSNorm；
|
||
- logit soft-cap；
|
||
- QK-Clip weight rescaling；
|
||
- z-loss 管 output logits，不与 attention logits 混同。
|
||
|
||
ViT-22B：
|
||
|
||
- 8B 视觉模型无 QK norm 时 attention logits 超过 50,000；
|
||
- QK LayerNorm 让 `1e-3` LR 在更大 scale 保持稳定。
|
||
|
||
Small-scale proxies：
|
||
|
||
- 用小模型 + 高 LR 复现 attention / output logit 不稳定；
|
||
- QK LayerNorm + z-loss 使作者设置跨三数量级 LR 可训练；
|
||
- 这是一种研究代理，不保证覆盖 data / system / MoE 全部故障。
|
||
|
||
### 6.3 Activation / SwiGLU 反馈
|
||
|
||
SwiGLU：
|
||
|
||
```text
|
||
(xᵀw_up) × Swish(xᵀw_gate)
|
||
```
|
||
|
||
两支都大时，乘积可远大于单一 GeLU / ReLU。
|
||
|
||
防线谱系：
|
||
|
||
- Smooth-SwiGLU：scale 转移，函数等价；
|
||
- hard clamp：限制 linear / gate 分支；
|
||
- K3 SiTU-GLU：两支分别用 smooth tanh cap；
|
||
- PowLU：另一种 bounded / stable activation 研究。
|
||
|
||
K3 SiTU-GLU：
|
||
|
||
```text
|
||
β1 tanh(Wg x / β1) × sigmoid(Wg x) × β2 tanh(Wu x / β2)
|
||
β1 = 4, β2 = 25
|
||
|output coordinate| < β1 β2 = 100
|
||
```
|
||
|
||
它在原点附近一阶匹配 SwiGLU，极大值时有界；不是简单 hard clamp。
|
||
|
||
DeepSeek-V4：
|
||
|
||
- linear component clamp 到 `[-10, 10]`；
|
||
- gate component upper cap `10`；
|
||
- 报告称两款 V4 训练均使用，未观察性能损失；
|
||
- 机制理论仍明确写为 open question。
|
||
|
||
### 6.4 Optimizer-statistic 反馈
|
||
|
||
Wortsman et al. 2023 VLM：
|
||
|
||
- loss spike 常发生在 squared gradient 被 AdamW second moment 低估后 1–8 steps；
|
||
- gradient clipping 发生在 adaptive scaling 前，未必能限制真正 update；
|
||
- 其 AdamW–Adafactor hybrid 解决指定 CLIP ViT-H 实验的 spike。
|
||
|
||
Adafactor 更早已区分：
|
||
|
||
- gradient clipping：裁 `g`；
|
||
- update clipping：裁 preconditioned update。
|
||
|
||
Muon 的风险不同：
|
||
|
||
- 不用逐坐标 second moment；
|
||
- 但 matrix spectrum、shape-based RMS、Q/K logit 放大成为核心。
|
||
|
||
### 6.5 MoE routing / expert outlier 反馈
|
||
|
||
DeepSeek-V4 公开报告：
|
||
|
||
```text
|
||
expert outlier
|
||
→ routing 更偏向某些 expert
|
||
→ 被选 expert 接收更多异常输入 / update
|
||
→ outlier 与 routing 互相强化
|
||
→ loss spike
|
||
```
|
||
|
||
Anticipatory Routing：
|
||
|
||
- step `t` feature 用当前 `θ_t`；
|
||
- routing indices 用历史 `θ_(t-Δt)` 预计算；
|
||
- spike 时短 rollback 并临时启用；
|
||
- 预计算本身作者报告约 20% wall-clock overhead；
|
||
- 动态启用后整体额外开销可忽略。
|
||
|
||
这是一种 break-the-loop 工程策略，不是通用 MoE 理论。
|
||
|
||
---
|
||
|
||
## 7. 一个稳定性控制室应该监控什么
|
||
|
||
| 信号 | 统计 | 它能提示什么 | 它不能证明什么 |
|
||
|---|---|---|---|
|
||
| training / validation loss | raw、EMA、per-domain | 已经影响目标 | 根因 |
|
||
| attention logits | max、p99.9、per-head | Q/K growth、softmax saturation | FFN / optimizer state 正常 |
|
||
| attention entropy | per-head / layer | 过尖或坍缩 | 一定有错 |
|
||
| activation | max、RMS、percentile、outlier channel | overflow / quantization risk | gradient update 原因 |
|
||
| gradient | global norm、per-layer、nonfinite | backward 异常 | adaptive update 真正大小 |
|
||
| update | RMS、param/update ratio、spectrum | optimizer 施加的实际步长 | forward outlier 根因 |
|
||
| weight | RMS、spectral norm、singular entropy | 长期增长与 rank | 即刻 loss spike |
|
||
| quantization | saturation、underflow、SNR、scale history | dtype / scale 失败 | 高精度算子正常 |
|
||
| optimizer state | moment max/min、scale、staleness | second moment 低估 / overflow | model architecture 正常 |
|
||
| MoE | per-expert activation、load、drop、bias | router–outlier feedback | dense layer正常 |
|
||
| system | checksum、nonfinite rank、bitwise replay | hardware / kernel / collective 错误 | 数据 / 算法正确 |
|
||
|
||
控制动作也要分层：
|
||
|
||
- skip update；
|
||
- dynamic loss / tensor scaling；
|
||
- gradient / update clip；
|
||
- QK normalize / QK-Clip；
|
||
- activation clamp；
|
||
- lower LR / longer warmup；
|
||
- change accumulator；
|
||
- rollback + replay；
|
||
- quarantine batch；
|
||
- temporary routing decoupling。
|
||
|
||
---
|
||
|
||
## 8. DeepSeek 数值主线
|
||
|
||
### 2024 · DeepSeek LLM
|
||
|
||
- BF16 training；
|
||
- FP32 gradient accumulation；
|
||
- cross entropy 内按需 BF16 → FP32；
|
||
- AdamW；
|
||
- gradient norm clip `1.0`；
|
||
- 每 5 分钟异步 checkpoint，硬件失败最坏损失约 5 分钟。
|
||
|
||
意义：先把“低精度 compute、高精度关键路径、恢复能力”建立为工程基线。
|
||
|
||
### 2024 · DeepSeek-V2
|
||
|
||
- 继续 AdamW / BF16 主线；
|
||
- MLA 改变 Q/K 的物化方式；
|
||
- 这为 K2 选择 QK-Clip 而非直接 QK-Norm 提供结构背景，但不是 V2 自己的 QK-Clip 结论。
|
||
|
||
### 2024 · DeepSeek-V3
|
||
|
||
- 671B total / 37B active；
|
||
- 14.8T Token；
|
||
- fine-grained FP8 training；
|
||
- 1×128 activation / 128×128 weight scale；
|
||
- FP32 promotion interval 128；
|
||
- BF16 optimizer moments，FP32 master / accumulated gradients；
|
||
- 报告整个主训练无 irrecoverable loss spike / rollback。
|
||
|
||
注意：
|
||
|
||
- 这是作者技术报告结果；
|
||
- Appendix B.2 同时给出 block Dgrad 导致发散的反例；
|
||
- 因而“V3 稳定”来自精确角色分配，不是 FP8 自然稳定。
|
||
|
||
### 2026 · DeepSeek-V4
|
||
|
||
- majority modules 改 Muon；
|
||
- 特定向量 / norm / head 保留 AdamW；
|
||
- Q / KV RMSNorm 避免 logit explosion，不用 QK-Clip；
|
||
- hybrid NS + BF16 compute + FP32 local sum；
|
||
- 训练真实遇到 loss spikes；
|
||
- Anticipatory Routing + SwiGLU clamping；
|
||
- post-training 对 MoE experts + indexer QK 做 FP4 QAT；
|
||
- rollout / inference 使用 native FP4。
|
||
|
||
这条主线最值得学习的地方：
|
||
|
||
> V3 的“成功 FP8”没有让 V4 停止做稳定性工程；模型、优化器、attention、MoE 与 QAT 每次变化都会重新打开新的失稳路径。
|
||
|
||
---
|
||
|
||
## 9. Kimi 数值主线
|
||
|
||
### 2025 · Moonlight / scalable Muon
|
||
|
||
- 从原始 Muon 补上 weight decay；
|
||
- matching update RMS；
|
||
- distributed Muon；
|
||
- 5.7T Token Moonlight；
|
||
- 作者报告相对 AdamW 约 2× compute efficiency。
|
||
|
||
### 2025 · Kimi K2
|
||
|
||
- 1.04T total / 32.6B active；
|
||
- 15.5T Token；
|
||
- MuonClip；
|
||
- QK-Clip threshold 100；
|
||
- per-head minimal intervention；
|
||
- 报告 zero observable loss spike。
|
||
|
||
### 2026 · Kimi K3
|
||
|
||
- 2.78T total / 104.2B active；
|
||
- 总训练 Token 未披露；
|
||
- Per-Head Muon；
|
||
- 保留 K2 weight clipping；
|
||
- Stable LatentMoE 加 RMSNorm；
|
||
- SiTU-GLU 两支有界，coordinate bound 100；
|
||
- most activation backward storage 用 block-wise FP8 + offload；
|
||
- distributed Muon 用 P2P 只取本地参数所需 shards；
|
||
- SFT → RL 全程 MXFP4 expert QAT；
|
||
- rollout / training 相同 quantization scheme。
|
||
|
||
不能外推：
|
||
|
||
- K3 `2.5×` family-level scaling efficiency 是架构、数据、训练联合变化；
|
||
- 不是 Per-Head Muon 单项收益；
|
||
- 不是 MXFP4 throughput；
|
||
- 不是相对 DeepSeek 的公开对照。
|
||
|
||
---
|
||
|
||
## 10. K2 / K3 / V3 / V4 对照
|
||
|
||
| 系统 | 主要 optimizer | Attention 防线 | FFN / MoE 防线 | 低精度主线 | 报告边界 |
|
||
|---|---|---|---|---|---|
|
||
| DeepSeek-V3 | AdamW | attention 高精度 | fine-grained scale | FP8 pretraining | <0.25% loss error on two baselines；主 run 无不可恢复 spike |
|
||
| Kimi K2 | MuonClip | QK-Clip `τ=100` | — | 非本章主卖点 | 15.5T；zero observable spike |
|
||
| Kimi K3 | Per-Head Muon + K2 clip | per-head update + weight clip | RMSNorm + SiTU-GLU | FP8 activation cache；MXFP4 expert QAT | 总 Token 未公开；Per-Head 单项收益未公开 |
|
||
| DeepSeek-V4 | majority Muon + selected AdamW | Q/KV RMSNorm | Anticipatory Routing + SwiGLU clamp | FP4 QAT + FP8 compute/storage | 训练遇到 spikes；经验补丁理论仍开放 |
|
||
|
||
---
|
||
|
||
## 11. 四个互动实验的合同
|
||
|
||
### Lab A · Format Microscope
|
||
|
||
输入：
|
||
|
||
- format：FP32 / FP16 / BF16 / E4M3 / E5M2 / MXFP4；
|
||
- real value；
|
||
- scale；
|
||
- block outlier；
|
||
- rounding mode。
|
||
|
||
输出：
|
||
|
||
- 最近 representable value；
|
||
- absolute / relative error；
|
||
- overflow / underflow / rounded；
|
||
- block 内有效精度。
|
||
|
||
教学边界：
|
||
|
||
- 是格式语义模拟，不是任一 GPU bit-exact implementation；
|
||
- MXFP4 强制显示 scale 和 block；
|
||
- NaN / subnormal 的厂商实现差异不做伪精确承诺。
|
||
|
||
### Lab B · Mixed Precision Ledger
|
||
|
||
输入：
|
||
|
||
- parameter count；
|
||
- activation cache；
|
||
- compute dtype；
|
||
- master weights；
|
||
- gradient accumulation；
|
||
- optimizer moments；
|
||
- activation / gradient communication。
|
||
|
||
输出：
|
||
|
||
- 每种状态 GB；
|
||
- 总显存 / 通信相对基线；
|
||
- 风险列表；
|
||
- preset：BF16 baseline / classic FP16 / V3-like FP8 / K3 deployment-aware。
|
||
|
||
边界：
|
||
|
||
- 不含 allocator、fragmentation、checkpoint、parallel sharding；
|
||
- speed 不从 byte ratio 自动推出；
|
||
- V3-like / K3-like 是教学配置，不是完整生产复现。
|
||
|
||
### Lab C · Optimizer Geometry
|
||
|
||
输入：
|
||
|
||
- 2×2 gradient / momentum matrix；
|
||
- AdamW / Muon / Per-Head Muon；
|
||
- momentum、weight decay、RMS matching；
|
||
- head scale imbalance。
|
||
|
||
输出：
|
||
|
||
- update matrix；
|
||
- approximate singular-value balance；
|
||
- per-head update RMS；
|
||
- state bytes；
|
||
- logical matrix partition。
|
||
|
||
边界：
|
||
|
||
- Newton–Schulz 可视化使用简化迭代；
|
||
- 不承诺等于生产 kernel；
|
||
- 2D teaching matrix 不代表真实 loss landscape。
|
||
|
||
### Lab D · Stability Control Room
|
||
|
||
输入：
|
||
|
||
- attention logit growth；
|
||
- SwiGLU outlier；
|
||
- quantization scale granularity；
|
||
- optimizer mode；
|
||
- MoE routing feedback；
|
||
- 防线 toggles。
|
||
|
||
输出：
|
||
|
||
- softmax saturation risk；
|
||
- activation overflow risk；
|
||
- update risk；
|
||
- simulated timeline；
|
||
- “先看哪个监控量”的解释。
|
||
|
||
边界：
|
||
|
||
- 不合成伪“总稳定分”；
|
||
- 使用独立 gauges；
|
||
- K2 / K3 / V3 / V4 preset 只映射报告公开机制。
|
||
|
||
---
|
||
|
||
## 12. 关键论文链
|
||
|
||
| 年份 | 来源 | 本章作用 | 证据边界 |
|
||
|---:|---|---|---|
|
||
| 2014 | Adam | adaptive moment baseline | 非 LLM 专用 |
|
||
| 2015 | Limited Numerical Precision | stochastic rounding 前史 | fixed-point / 小模型 |
|
||
| 2017 | Mixed Precision Training | FP32 master + loss scale + accumulate | FP16 时代 |
|
||
| 2017 | AdamW | decoupled weight decay | 视觉主实验 |
|
||
| 2017 | Integer-only QAT | fake quant / QAT 起点 | CNN 部署 |
|
||
| 2018 | Shampoo | tensor structured preconditioner | 扩展成本高 |
|
||
| 2018 | Adafactor | factored second moment + update clip | MT Transformer |
|
||
| 2019 | BFLOAT16 Study | range vs precision | 多领域但非现代万亿 LLM |
|
||
| 2020 | GLU Variants | SwiGLU 起点 | 未讨论 outlier |
|
||
| 2020 | QK Normalization | cosine Q/K + learned scale | 低资源 MT |
|
||
| 2021 | 8-bit Optimizers | block-wise state quantization | 到 1.5B LM |
|
||
| 2022 | DeepNet | depth / residual stability | 以 MT / 深度为主 |
|
||
| 2022 | Tensor Programs V | μP / μTransfer | 宽度主线 |
|
||
| 2022 | LLM.int8 | activation outlier | inference |
|
||
| 2022 | FP8 Formats | E4M3 / E5M2 标准语义 | scale heuristic 不在范围 |
|
||
| 2022 | GPTQ | weight-only PTQ | 不含 W/A/KV 全量 |
|
||
| 2022 | SmoothQuant | W8A8 outlier migration | inference |
|
||
| 2023 | ViT-22B | QK LayerNorm 与 50k logits | 视觉模型 |
|
||
| 2023 | Stable low-precision VLM | moment underestimation / SwitchBack | CLIP |
|
||
| 2023 | QLoRA | 4-bit frozen-base finetuning | 非 4-bit base training |
|
||
| 2023 | LLM-QAT | data-free W/A/KV QAT | LLaMA ≤30B |
|
||
| 2023 | Small-scale proxies | high-LR stability proxy | 不覆盖全部生产故障 |
|
||
| 2023 | MX Formats | E8M0 + 32-block + MXFP4 | 到 1.5B GPT training |
|
||
| 2023 | FP8-LM | end-to-end FP8 system | 作者硬件栈 |
|
||
| 2023 | Spike No More | small sublayer / large shortcut | 理论假设与中等模型 |
|
||
| 2024 | DeepSeek LLM | BF16 + FP32 accumulate | 67B |
|
||
| 2024 | Deconstructing Optimizers | Adam / Adafactor / Lion 对照 | ≤1.2B |
|
||
| 2024 | Scaling FP8 to trillion Token | late SwiGLU outlier | Llama2 / delayed scale |
|
||
| 2024 | DeepSeek-V3 | fine-grained FP8 production recipe | 作者报告 |
|
||
| 2024 | Muon blog | 原始 Muon 定义 | 技术博文 |
|
||
| 2025 | Muon is Scalable | decay + update RMS | 作者 scaling law |
|
||
| 2025 | Kimi K2 | MuonClip / QK-Clip | 作者报告 |
|
||
| 2025 | FP4 All the Way | fully quantized training | 7B / 200B Token |
|
||
| 2026 | PowLU | bounded activation 对照 | 新论文 |
|
||
| 2026 | DeepSeek-V4 | hybrid Muon + FP4 QAT + spike mitigation | 作者报告 |
|
||
| 2026 | Kimi K3 | Per-Head Muon + SiTU + MXFP4 QAT | 作者报告 |
|
||
|
||
---
|
||
|
||
## 13. 正文必须保留的公开未知项
|
||
|
||
1. K3 总预训练 Token 数与完整 dtype placement 未公开；
|
||
2. K3 Per-Head Muon 的单项 ablation 数字未公开；
|
||
3. K3 MXFP4 QAT 相对高精度的完整 capability / latency 对照未公开；
|
||
4. K2 zero spike 不是独立复现；
|
||
5. DeepSeek-V3 `<0.25%` 来自两组 baseline，不是所有 tensor policy 的保证；
|
||
6. DeepSeek-V4 Anticipatory Routing 的触发阈值、持续步数与全部 spike trace 未公开；
|
||
7. DeepSeek-V4 FP4 QAT 的完整质量 ablation 与硬件端到端收益未公开；
|
||
8. Muon 相对 AdamW 的最优性依赖模型族、参数分组、调参预算与 Token regime；
|
||
9. 新 Muon 分支快速演化，首版不把未经大规模复现的变体写成继任者；
|
||
10. 所有 teaching lab 都是机制模型，不是 bit-exact kernel 或真实训练预测器。
|
||
|
||
---
|
||
|
||
## 14. 一手来源定位摘要
|
||
|
||
### Kimi
|
||
|
||
- Kimi K2 §2.1：MuonClip / QK-Clip 公式与 Figure 2；
|
||
- Kimi K2 Appendix D：QK-Clip 无质量损伤与 self-deactivation；
|
||
- Kimi K2 Appendix E：Muon logit explosion 假说；
|
||
- Kimi K3 §2.3.1：LatentMoE RMSNorm；
|
||
- Kimi K3 §2.3.2 / Appendix B：SiTU-GLU 与 bound 100；
|
||
- Kimi K3 §2.5：Per-Head Muon；
|
||
- Kimi K3 §3.3：Per-Head Muon + K2 weight clipping；
|
||
- Kimi K3 §4.1.4：MXFP4 expert QAT；
|
||
- Kimi K3 §5.2.2：block-wise FP8 activation cache、P2P Muon。
|
||
|
||
### DeepSeek
|
||
|
||
- DeepSeek LLM §2.4：BF16、FP32 gradient accumulation、checkpoint；
|
||
- DeepSeek-V3 §3.3.1：mixed precision role map；
|
||
- DeepSeek-V3 §3.3.2：1×128 / 128×128 scale 与 FP32 promotion；
|
||
- DeepSeek-V3 §3.3.3：optimizer state、activation、communication；
|
||
- DeepSeek-V3 Appendix B.1：BF16 vs FP8；
|
||
- DeepSeek-V3 Appendix B.2：block Dgrad divergence；
|
||
- DeepSeek-V4 §2.4：Muon 与 hybrid Newton–Schulz；
|
||
- DeepSeek-V4 §3.4.1：distributed Muon / BF16 sync / FP32 sum；
|
||
- DeepSeek-V4 §4.2.3：Anticipatory Routing / SwiGLU clamp；
|
||
- DeepSeek-V4 §5.2.1：FP4 QAT / STE / native rollout。
|
||
|
||
### 通用论文
|
||
|
||
- Mixed Precision §3.1–3.3；
|
||
- BFLOAT16 §1–2 / Table 1；
|
||
- FP8 Formats §2–3 / Table 1；
|
||
- MX Formats §2 / Table 1 / Figure 1；
|
||
- Adam Algorithm 1；
|
||
- AdamW §2；
|
||
- Adafactor §3 / §5–6；
|
||
- μP / TP-V main theorem and transfer experiments；
|
||
- Muon Scalable §2.2–2.3 / §3；
|
||
- QK Norm §2；
|
||
- ViT-22B §2 / Appendix B；
|
||
- Small-scale proxies §3；
|
||
- Scaling FP8 §3–5；
|
||
- QAT Jacob §3；
|
||
- LLM-QAT §2–3。
|
||
|
||
---
|
||
|
||
## 15. 本地证据缓存说明
|
||
|
||
主干 PDF / text 已缓存到：
|
||
|
||
```text
|
||
research/sources/numerics/
|
||
research/sources/training-systems/1710.03740.*
|
||
research/sources/scaling-laws/2401.02954.*
|
||
research/sources/moe/2412.19437.*
|
||
research/sources/reasoning/2507.20534.*
|
||
research/sources/long-context/2606.19348.*
|
||
research/sources/kimi-k3/k3_tech_report.*
|
||
```
|
||
|
||
缓存受 `.gitignore` 排除；公开仓库只提交 canonical URL、原创研究笔记与课程内容，
|
||
不重新分发论文全文。
|