site: explain AttnRes spike path study

This commit is contained in:
wuyang
2026-07-30 12:20:47 +08:00
parent 3cbb163715
commit a1a52d4280
8 changed files with 1190 additions and 17 deletions
+15 -1
View File
@@ -19,7 +19,7 @@
当前里程碑包含 17 专题学习地图、486 篇关键论文索引、Kimi K3 完整导读,
语言模型前史、Transformer 基础、表示/位置/残差、DeepSeek 技术谱系、Scaling Laws、数据工程、长上下文、MoE、指令微调与人类偏好、推理、工具使用与长程 Agent、原生多模态、训练系统、推理服务、数值优化,以及评测与安全深度专题,
以及 99 个覆盖核心机制的原创交互视图。K3 二轮导读以 32 张问题账、16 图 / 5 表审计、
以及 104 个覆盖核心机制的原创交互视图。K3 二轮导读以 32 张问题账、16 图 / 5 表审计、
8 个交互实验和 100 个一手/官方节点,完整覆盖架构、预训练、后训练、系统、评测、案例与附录。
第三轮已完成开放工件与首个真实 kernel 里程碑:固定官方模型与 FlashKDA revisions,审计 96 个 checkpoint shards、
497,220 个 tensor entries、真实 KDA / MLA / MoE / MoonViT shapes 与小范围参数统计,并用 4 个新视图
@@ -52,6 +52,20 @@ peak allocated memory 约 2.2×,不冒充同算力优势。指定 depth-32 / B
[K3_ATTNRES_GRADIENT_DEFINITION_AUDIT.md](./research/K3_ATTNRES_GRADIENT_DEFINITION_AUDIT.md)、
[K3_ATTNRES_GRADIENT_SCALE_AUDIT.md](./research/K3_ATTNRES_GRADIENT_SCALE_AUDIT.md) 与
[gradient experiment](./experiments/k3/attnres_gradient/)。
第六轮冻结 `llm-atlas-k3-attnres-spike-path-v1`,严格复用 Round 05 的 depth-32 Block
训练格,在 optimizer 之外追踪六个 checkpoint、六个 block 内张量位置与四种预注册
reduction,并在同一前向值下比较 learned、detached-learned 与 uniform-value-backward
三条反向规则。layer 21–25 的 post-MLP contrast 在 step 500 仍仅为三 seed 平均 `0.524×`,
到 step 2,000 升至 `2.233×`,说明尖峰在训练中形成;六个位置全部在 3/3 seed 可见,
四种 reduction 的 12/12 格同时通过 contrast、top-5 overlap 与 Spearman 闸门。
切断全局 softmax/query/key 源梯度后 contrast 反而平均增加约 2.0%;把 learned
value-backward coefficients 换成均匀系数后,contrast 平均下降 `70.2%`、peak/mean
下降 `37.0%`,三 seed 都达到预注册材料级敏感性阈值。该结果只支持全局反向路径敏感性,
不冒充训练变体、因果贡献百分比或局部 mixer 归因。正式三格与完整 replay 共
262,144,000 target bytes,Round 05 等价字段与 16 组 replay 字段全部 exact。详见
[K3_ATTNRES_SPIKE_PROTOCOL.md](./research/K3_ATTNRES_SPIKE_PROTOCOL.md)、
[K3_ATTNRES_SPIKE_AUDIT.md](./research/K3_ATTNRES_SPIKE_AUDIT.md) 与
[spike-path experiment](./experiments/k3/attnres_spike/)。
DeepSeek 八轮专题以 24 张问题账、10 次技术转向、
22 个交互实验和 60 个一手/官方节点,串起 Dense、MoE、MLA、V3 协同、R1 与 V4;
并固定官方 V2-Lite revision,在 RTX 5090 上连续执行 7/27 层,记录 3,240 次真实专家选择、