feat: publish representation and depth chapter

This commit is contained in:
wuyang
2026-07-29 10:32:33 +08:00
parent a9afa12c7c
commit a2c9298d35
28 changed files with 2960 additions and 51 deletions
+12
View File
@@ -80,3 +80,15 @@ DeepSeek-VL/VL2、Janus、OCR 三分支,Kimi 三代 MoonViT、十六张问题
未影响文本核验。二十二张测量账、80 节点阅读链、DeepSeek/K3 协议谱系、四实验合同与证据边界见
`../EVALUATION_SAFETY_RESEARCH.md`。Grok Headless 仅生成教学问题和候选线索,永久隔离在
`../EVALUATION_SAFETY_GROK_LEADS.md`,不能作为正式事实来源。
表示、位置与残差首轮缓存位于 `representation/`(不提交 PDF/TXT/XML):
- 表示与 token:output embedding / weight tying、ELMo、FFN memories 与 Byte Latent Transformer;
- 位置与外推:RoPE、ALiBi、xPos、NoPE study、Position Interpolation、YaRN、FIRE 与 LongRoPE;
- 归一化与深度:LayerNorm、RMSNorm、Pre-LN、Fixup、ReZero、Admin、QK-Norm、NormFormer、DeepNet 与 nGPT;
- 深度路由与激活:Hyper-Connections、mHC、Attention Residuals、GLU / SwiGLU;
- DeepSeek-V2/V3/V4 与 Kimi Linear/K3 复用 `long-context/`、`moe/`、`numerics/` 和 `kimi-k3/` 的官方报告缓存。
二十张问题账、66 节点阅读链、DeepSeek / Kimi 对照、公式边界与四实验合同见
`../REPRESENTATION_RESEARCH.md`。Grok Headless 只扩展候选召回,未核验线索永久隔离在
`../REPRESENTATION_GROK_LEADS.md`,不得直接作为正文证据。