feat: publish training systems deep dive
This commit is contained in:
@@ -1128,21 +1128,20 @@ K2 明确没有沿用 DualPipe:
|
||||
- [x] AgentENV 数字标为 K3 报告统计,不外推。
|
||||
- [ ] 所有 30+ 论文链接发布前做可达性检查。
|
||||
- [ ] 页面每个数字回链到邻近的一手来源。
|
||||
- [ ] 互动公式写单元测试与浏览器断言。
|
||||
- [ ] desktop / mobile / reduced-motion / keyboard 全部验证。
|
||||
- [x] 互动公式写单元测试与浏览器断言。
|
||||
- [x] desktop / mobile / reduced-motion / keyboard 全部验证。
|
||||
- [ ] immutable image、NAS、VPS、NPM、HTTPS、公开 Forgejo 全链验证。
|
||||
|
||||
## 首版页面完成闸门
|
||||
|
||||
- [ ] 初学者能在不懂分布式系统的情况下读懂“为什么单卡放不下”。
|
||||
- [ ] 能用 byte ledger 解释参数、梯度、master weights 与 optimizer state。
|
||||
- [ ] 能区分 DP / TP / PP / EP / SP / CP 的切分对象。
|
||||
- [ ] 能解释为什么同样通信字节数仍可能有不同 wall time。
|
||||
- [ ] 能从时间轴上读出 GPipe、1F1B、ZeroBubble 与 DualPipe 差异。
|
||||
- [ ] 能解释 Ulysses、Ring 与 USP 的数据布局变化。
|
||||
- [ ] 能解释 DeepSeek-V3 的系统协同,而不是只背 DualPipe 名字。
|
||||
- [ ] 能解释为什么 K2 主动不采用 DualPipe。
|
||||
- [ ] 能沿 K2 → K2.5 → K3 读出内存与调度演进。
|
||||
- [ ] 能操作四个互动实验并触发至少一个 invalid / OOM / imbalance 情景。
|
||||
- [x] 初学者能在不懂分布式系统的情况下读懂“为什么单卡放不下”。
|
||||
- [x] 能用 byte ledger 解释参数、梯度、master weights 与 optimizer state。
|
||||
- [x] 能区分 DP / TP / PP / EP / SP / CP 的切分对象。
|
||||
- [x] 能解释为什么同样通信字节数仍可能有不同 wall time。
|
||||
- [x] 能从时间轴上读出 GPipe、1F1B、ZeroBubble 与 DualPipe 差异。
|
||||
- [x] 能解释 Ulysses、Ring 与 USP 的数据布局变化。
|
||||
- [x] 能解释 DeepSeek-V3 的系统协同,而不是只背 DualPipe 名字。
|
||||
- [x] 能解释为什么 K2 主动不采用 DualPipe。
|
||||
- [x] 能沿 K2 → K2.5 → K3 读出内存与调度演进。
|
||||
- [x] 能操作四个互动实验并触发至少一个 invalid / OOM / imbalance 情景。
|
||||
- [ ] 论文阅读链、类型检查、链接、浏览器与容器验证全部通过。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user