feat: deepen attention and transformer chapter

This commit is contained in:
wuyang
2026-07-29 05:26:59 +08:00
parent 266eac8fd6
commit 252e7d6b63
20 changed files with 3131 additions and 666 deletions
+7 -1
View File
@@ -33,7 +33,13 @@ one MTP layer 与 EAGLE-3 draft bridge,并与 DeepSeek-V3/V4 的顺序 MTP 对
### 02. 注意力与 Transformer
Bahdanau Attention → Self-Attention → Transformer → decoder-only GPT。逐项拆解 Q/K/V、因果掩码、多头、残差、归一化、FFN。
Bahdanau Attention → Self-Attention → 原始 encoderdecoder Transformer → BERT/GPT/T5 家族 →
KV/IO 效率 → DeepSeek MLA/CSA-HCA 与 Kimi KDA/AttnRes。逐项拆解 Q/K/V、缩放、Mask、
多头、位置、Residual/Norm、FFN/MoE、训练目标与推理状态。
首版已发布:十张独立问题账、40 个正式一手节点、21 段正文,以及 QKV 手算、Mask 矩阵、
多头/位置、Block/KV 成本四个独立实验。正文明确区分 2017 原作与 decoder-only LLM
也把 Attention 权重观察与因果解释永久分开。
### 03. 表示层、位置与残差高速公路