feat: deepen attention and transformer chapter
This commit is contained in:
+7
-1
@@ -33,7 +33,13 @@ one MTP layer 与 EAGLE-3 draft bridge,并与 DeepSeek-V3/V4 的顺序 MTP 对
|
||||
|
||||
### 02. 注意力与 Transformer
|
||||
|
||||
Bahdanau Attention → Self-Attention → Transformer → decoder-only GPT。逐项拆解 Q/K/V、因果掩码、多头、残差、归一化、FFN。
|
||||
Bahdanau Attention → Self-Attention → 原始 encoder–decoder Transformer → BERT/GPT/T5 家族 →
|
||||
KV/IO 效率 → DeepSeek MLA/CSA-HCA 与 Kimi KDA/AttnRes。逐项拆解 Q/K/V、缩放、Mask、
|
||||
多头、位置、Residual/Norm、FFN/MoE、训练目标与推理状态。
|
||||
|
||||
首版已发布:十张独立问题账、40 个正式一手节点、21 段正文,以及 QKV 手算、Mask 矩阵、
|
||||
多头/位置、Block/KV 成本四个独立实验。正文明确区分 2017 原作与 decoder-only LLM,
|
||||
也把 Attention 权重观察与因果解释永久分开。
|
||||
|
||||
### 03. 表示层、位置与残差高速公路
|
||||
|
||||
|
||||
Reference in New Issue
Block a user