feat: publish numerics and optimization chapter
This commit is contained in:
+6
-1
@@ -1,6 +1,6 @@
|
||||
# LLM Atlas 总体研究地图
|
||||
|
||||
最后更新:2026-07-28
|
||||
最后更新:2026-07-29
|
||||
|
||||
## 组织原则
|
||||
|
||||
@@ -63,6 +63,11 @@ Conditional Computation → Sparsely-Gated MoE → GShard/Switch → DeepSeekMoE
|
||||
|
||||
Adam/AdamW、Adafactor、μP、Muon;FP16/BF16/FP8/MXFP4、量化感知训练、缩放与误差。重点讲 DeepSeek-V3 FP8 与 K3 per-head Muon/MXFP4。
|
||||
|
||||
首版已发布:以“表示、缩放、计算、累加、搬运、更新、参数化、观测、恢复、证据经济”十张账串起
|
||||
2014–2026 的 36 个一手节点;重点拆解 Kimi K2 MuonClip、K3 Per-Head Muon / SiTU-GLU / MXFP4 QAT,
|
||||
以及 DeepSeek-V3 fine-grained FP8 与 V4 hybrid Muon / spike mitigation / FP4 QAT,并提供格式显微镜、
|
||||
混合精度状态账、优化器几何与失稳控制室四个独立互动实验。
|
||||
|
||||
### 10. 指令微调与人类偏好
|
||||
|
||||
Instruction Tuning、SFT、RLHF/PPO、RLAIF、Constitutional AI、DPO 及其后续。解释 base model 如何变成可协作助手。
|
||||
|
||||
Reference in New Issue
Block a user