feat: publish training systems deep dive

This commit is contained in:
wuyang
2026-07-29 01:26:38 +08:00
parent c3e1e85c67
commit c6306fe260
14 changed files with 3053 additions and 41 deletions
+12 -13
View File
@@ -1128,21 +1128,20 @@ K2 明确没有沿用 DualPipe
- [x] AgentENV 数字标为 K3 报告统计,不外推。
- [ ] 所有 30+ 论文链接发布前做可达性检查。
- [ ] 页面每个数字回链到邻近的一手来源。
- [ ] 互动公式写单元测试与浏览器断言。
- [ ] desktop / mobile / reduced-motion / keyboard 全部验证。
- [x] 互动公式写单元测试与浏览器断言。
- [x] desktop / mobile / reduced-motion / keyboard 全部验证。
- [ ] immutable image、NAS、VPS、NPM、HTTPS、公开 Forgejo 全链验证。
## 首版页面完成闸门
- [ ] 初学者能在不懂分布式系统的情况下读懂“为什么单卡放不下”。
- [ ] 能用 byte ledger 解释参数、梯度、master weights 与 optimizer state。
- [ ] 能区分 DP / TP / PP / EP / SP / CP 的切分对象。
- [ ] 能解释为什么同样通信字节数仍可能有不同 wall time。
- [ ] 能从时间轴上读出 GPipe、1F1B、ZeroBubble 与 DualPipe 差异。
- [ ] 能解释 Ulysses、Ring 与 USP 的数据布局变化。
- [ ] 能解释 DeepSeek-V3 的系统协同,而不是只背 DualPipe 名字。
- [ ] 能解释为什么 K2 主动不采用 DualPipe。
- [ ] 能沿 K2 → K2.5 → K3 读出内存与调度演进。
- [ ] 能操作四个互动实验并触发至少一个 invalid / OOM / imbalance 情景。
- [x] 初学者能在不懂分布式系统的情况下读懂“为什么单卡放不下”。
- [x] 能用 byte ledger 解释参数、梯度、master weights 与 optimizer state。
- [x] 能区分 DP / TP / PP / EP / SP / CP 的切分对象。
- [x] 能解释为什么同样通信字节数仍可能有不同 wall time。
- [x] 能从时间轴上读出 GPipe、1F1B、ZeroBubble 与 DualPipe 差异。
- [x] 能解释 Ulysses、Ring 与 USP 的数据布局变化。
- [x] 能解释 DeepSeek-V3 的系统协同,而不是只背 DualPipe 名字。
- [x] 能解释为什么 K2 主动不采用 DualPipe。
- [x] 能沿 K2 → K2.5 → K3 读出内存与调度演进。
- [x] 能操作四个互动实验并触发至少一个 invalid / OOM / imbalance 情景。
- [ ] 论文阅读链、类型检查、链接、浏览器与容器验证全部通过。