feat: publish representation and depth chapter
This commit is contained in:
@@ -45,6 +45,13 @@ KV/IO 效率 → DeepSeek MLA/CSA-HCA 与 Kimi KDA/AttnRes。逐项拆解 Q/K/V
|
||||
|
||||
BPE/SentencePiece、绝对/相对位置、RoPE/ALiBi、LayerNorm/RMSNorm、Pre-LN、SwiGLU,以及从 ResNet 到 K3 Attention Residuals 的深度信息流。
|
||||
|
||||
首版已发布:以“计算单位、接口参数、上下文化、位置对称性、外推、Norm 对象、拓扑、深度路由、
|
||||
激活极值与证据边界”等二十张账,串起 1991–2026 的 66 个一手节点。四联实验分别操作
|
||||
Token/weight tying/context、absolute/RoPE/ALiBi/NoPE、Pre/Post/RMS/QK-Norm,以及
|
||||
plain residual/HC/mHC/AttnRes 与 GELU/SwiGLU/V4 clamp/K3 SiTU。重点对照 DeepSeek-V2 的
|
||||
decoupled RoPE、V4 的 partial RoPE/mHC/激活 clamp,与 K3 的 MLA NoPE、KDA 隐式位置、
|
||||
9 个 block-level AttnRes 来源和逐点绝对值小于 100 的 SiTU-GLU。
|
||||
|
||||
### 04. Scaling Laws:规模为什么有效
|
||||
|
||||
GPT 系列 → Kaplan scaling laws → Chinchilla compute-optimal → 数据质量与重复 → 推理时计算。区分参数、激活参数、训练 FLOPs 与能力。
|
||||
|
||||
Reference in New Issue
Block a user