feat: publish representation and depth chapter
This commit is contained in:
@@ -80,3 +80,15 @@ DeepSeek-VL/VL2、Janus、OCR 三分支,Kimi 三代 MoonViT、十六张问题
|
||||
未影响文本核验。二十二张测量账、80 节点阅读链、DeepSeek/K3 协议谱系、四实验合同与证据边界见
|
||||
`../EVALUATION_SAFETY_RESEARCH.md`。Grok Headless 仅生成教学问题和候选线索,永久隔离在
|
||||
`../EVALUATION_SAFETY_GROK_LEADS.md`,不能作为正式事实来源。
|
||||
|
||||
表示、位置与残差首轮缓存位于 `representation/`(不提交 PDF/TXT/XML):
|
||||
|
||||
- 表示与 token:output embedding / weight tying、ELMo、FFN memories 与 Byte Latent Transformer;
|
||||
- 位置与外推:RoPE、ALiBi、xPos、NoPE study、Position Interpolation、YaRN、FIRE 与 LongRoPE;
|
||||
- 归一化与深度:LayerNorm、RMSNorm、Pre-LN、Fixup、ReZero、Admin、QK-Norm、NormFormer、DeepNet 与 nGPT;
|
||||
- 深度路由与激活:Hyper-Connections、mHC、Attention Residuals、GLU / SwiGLU;
|
||||
- DeepSeek-V2/V3/V4 与 Kimi Linear/K3 复用 `long-context/`、`moe/`、`numerics/` 和 `kimi-k3/` 的官方报告缓存。
|
||||
|
||||
二十张问题账、66 节点阅读链、DeepSeek / Kimi 对照、公式边界与四实验合同见
|
||||
`../REPRESENTATION_RESEARCH.md`。Grok Headless 只扩展候选召回,未核验线索永久隔离在
|
||||
`../REPRESENTATION_GROK_LEADS.md`,不得直接作为正文证据。
|
||||
|
||||
Reference in New Issue
Block a user