# K3 Attention Residuals 局部梯度尖峰与反向路由审计

研究日期：2026-07-30  
协议 ID：`llm-atlas-k3-attnres-spike-path-v1`  
父协议：`llm-atlas-k3-attnres-gradient-scale-v1`  
研究身份：**Round 05 已知异常驱动的定向机制追踪，不是盲发现**

## 0. 一句话结果

在与 Round 05 **model / optimizer / BPC / post-MLP gradient 全部 exact** 的
depth-32 Block AttnRes 三 seed 重放中：

1. layer 21–25 的局部峰在六个捕获位置最终都 3 / 3 可见；
2. 四种预注册 Token-gradient reductions 的 12 / 12 单元全部过闸；
3. 全局切断 64 个 depth mixers 与 output mixer 的 softmax / query / key
   source-gradient path，峰没有下降，反而在 3 / 3 seed 略增；
4. 保持 learned forward 完全不变、只把所有 mixer 的 value backward coefficients
   从 learned `w` 改为 `1/N` 后，spike contrast 平均下降 **70.2%**、peak normalized
   平均下降 **37.0%**，两项都在 3 / 3 seed 超过预注册 20% 阈值；
5. seed-1 从初始化完整重训 8,000 steps 的 replay，连六位置、七 reductions、三模式和
   65 个 mixer quantile summaries 都 exact。

最窄、最准确的结论是：

> 在这个已训练的缩小 Block AttnRes 图上，最终 layer 21–25 峰对 learned mixer 的
> **value-backward routing coefficients** 有预注册阈值下的强全局敏感性；它不是由
> softmax/key source-gradient derivative path 单独解释的。

这不等于：

- uniform backward 是更好的训练方法；
- learned value weights 让模型训练变差；
- 某一个 layer 或同层 MLP mixer 是唯一原因；
- Kimi K3 真实 checkpoint 存在同样尖峰。

## 1. 研究问题从哪里来

Round 05 已知：

- Block 的首/末四分位失衡在 6 / 6 配对中改善；
- 全层 CV 却在 6 / 6 配对中恶化；
- depth-32 三 seed 平均的相对高值集中在 layer 21–25；
- post-MLP gradient 与 MLP latest-source mean weight 在 96 个
  `seed × layer` 点上 Pearson `r≈0.651`，在 layer 19–28 的 30 点上 `r≈0.690`。

这些 observational correlations 不能回答：

- 是 softmax / key 的导数路径重要，还是 value coefficients 重要？
- 峰是否只是 element RMS 的 reduction 产物？
- 峰在一个 block 内到哪个位置才出现？

因此 Round 06 在看见新结果前固定：

- 六个 activation 位置；
- 四个主 reductions、两个 cancellation-sensitive reductions 和一个代数控制；
- 三种 same-forward backward rules；
- fixed spike set `S={21,22,23,24,25}`；
- `contrast≥1.5`、top-5 overlap、Spearman、20% material drop；
- 三 formal seeds 和一个完整 replay。

前置 scoping、协议与 runner 分别在提交 `204f599`、`54c80fb` 前后进入公开仓库，
formal 训练随后才开始。

## 2. 对抗审查如何改变协议

本机 Grok Headless 只用于一次只读、对抗性方法审查，不提供事实来源，也没有修改文件。
主代理采纳并在结果前修正的关键问题包括：

- 把“最早生成位置”降级为“最早可见 tensor”；
- 主判定时点固定为 step 8,000；
- intervention 明确作用于全部 64 个 depth mixers 加 output mixer；
- 结论从局部因果分解降级为全局 backward-rule sensitivity；
- material 判定固定只用 `element_rms`；
- median / p95 固定 Hyndman–Fan Type 7；
- top-5 ties、Spearman ties、正分母与 invalid 条件全部写死；
- 增加六位置 loss×2、optimizer isolation 和训练不得进入 custom autograd 的闸门。

这次审查的价值是发现协议漏洞，不是为结果背书。

## 3. 第一次 smoke 为什么被拦住

最初 intervention custom backward 直接用 elementwise multiplication 分配
`weights × grad_output`。forward identity 已经 exact，但 step-0 uniform negative
control 失败：

```text
六位置 max raw relative difference：约 0.0037–0.0046
六位置 max normalized difference：约 0.0011–0.0020
```

这说明虽然代数公式一致，手写 backward 没有复用父 runner autocast einsum 的实际数值
路径，不能满足预注册的“query=0 时三模式等价”。

正式训练尚未开始。实现随后改为：

1. forward 直接返回父 `DepthMixer.forward` 已算出的 `y_parent`；
2. backward 在 `torch.enable_grad()` 下，用冻结的 learned / uniform weights
   重新走同一个 BF16-autocast einsum surrogate；
3. 只把 surrogate 对 source values 的梯度返回；
4. 不向 `y_parent`、query、key path 回传。

修正后：

```text
三模式 logits / loss / 六位置 activations：byte-exact
65 个 mixer summaries：exact
step-0 六位置 raw gradient spectra：max difference 0
step-0 normalized spectra：max difference 0
六位置 × 七 reductions loss×2：scale / shape error 0
两个全新进程非计时字段：exact
```

这个失败不是需要隐藏的“调试噪声”；它正是负控制在正式结果前发挥作用的证据。

## 4. 训练合同与工作量

Round 06 没有创建新的训练分布：

| 字段 | 值 |
|---|---:|
| architecture | Block AttnRes |
| depth | 32 Transformer blocks |
| groups | 8，每组 4 blocks |
| width / heads / FFN | 192 / 6 / 768 |
| context / batch | 256 / 32 |
| steps | 8,000 |
| formal seeds | 2026073001 / 2 / 3 |
| replay | seed-1，从初始化完整 8,000 steps |
| formal target bytes | 196,608,000 |
| 含 replay target bytes | 262,144,000 |
| diagnostic tensor | 固定 16 × 256 |
| diagnostic steps | 0 / 100 / 500 / 2,000 / 4,000 / 8,000 |
| intervention steps | 0 / 8,000 |

数据与父协议 exact，完整值为：

```text
formal schedule:
5041e09b167f229248d2462324e8c254b8f5938975f135dcd8192b00a54a4f4e

validation:
f459316f13078a163b47c133511bb7181e05170ab89516e196490113893ce338

diagnostic:
21117e31db302b10d67b63f035665dc8f220b879d216ccd12b7d2ba86e7b1716
```

## 5. 父协议训练等价闸门

三个 formal seed 全部满足：

| 字段 | seed-1 | seed-2 | seed-3 |
|---|---:|---:|---:|
| final model-state hash | exact | exact | exact |
| final optimizer-state hash | exact | exact | exact |
| 六个 validation BPC | exact | exact | exact |
| 六条 post-MLP element-RMS arrays | exact | exact | exact |
| training history | exact | exact | exact |

最终 BPC：

| seed | Round 06 | Round 05 |
|---:|---:|---:|
| 2026073001 | 1.7123525940760473 | exact |
| 2026073002 | 1.7093240655856785 | exact |
| 2026073003 | 1.7030966812870931 | exact |

因此新增 capture / diagnostics 没有改变 optimizer trajectory。Round 06 不是一组“看起来
相近”的新模型，而是同一冻结训练的独立数值重放。

## 6. 峰在训练中形成，不是初始化常数

最终主指标是 post-MLP element-RMS：

```text
spike_contrast =
mean(layers 21–25) / mean(other 27 layers)
```

时间轨迹：

| step | seed-1 | seed-2 | seed-3 |
|---:|---:|---:|---:|
| 0 | 0.782 | 0.691 | 0.797 |
| 100 | 0.560 | 0.556 | 0.575 |
| 500 | 0.522 | 0.573 | 0.478 |
| 2,000 | 2.497 | 2.740 | **1.461** |
| 4,000 | 2.851 | 3.157 | 1.773 |
| 8,000 | **3.046** | **3.333** | **1.881** |

step 500 时三个 seed 的目标层都低于其他层均值；到 step 2,000，seed-1/2 已形成明显峰，
seed-3 仍略低于预注册 1.5 阈值；seed-3 到 step 4,000 才跨过。

所以允许说：

> 尖峰在这个训练过程中发展出来，且 onset 有 seed 差异。

不允许说：

> aggregation boundary 本身在初始化就必然产生 layer 21 峰。

## 7. 六个位置：处处可见，不等于找到 origin

最终 element-RMS spike contrast：

| 位置 | seed-1 | seed-2 | seed-3 | 三 seed mean | 3/3 ≥1.5 |
|---|---:|---:|---:|---:|---:|
| pre-attention input | 3.724 | 3.189 | 2.040 | 2.984 | 是 |
| attention branch output | 3.200 | 3.662 | 2.005 | 2.955 | 是 |
| post-attention state | 3.200 | 3.662 | 2.005 | 2.955 | 是 |
| pre-MLP input | 3.829 | 4.527 | 2.978 | **3.778** | 是 |
| MLP branch output | 3.046 | 3.333 | 1.881 | 2.754 | 是 |
| post-MLP state | 3.046 | 3.333 | 1.881 | 2.754 | 是 |

协议顺序中的第一个可见 tensor 是 `pre_attention_input`。但 activation gradient
本来就汇总全部下游路径，所以这只说明：

> 在进入该层 attention 之前，固定深度模式已经能在损失对该 tensor 的敏感性中看到。

它不说明峰在 pre-attention mixer “生成”。六个位置全部可见，反而证明单靠位置 trace
无法定位唯一 origin。

值得注意的是，`pre_mlp_input` 的平均 contrast 最高，但这仍是读数，不是“MLP 是唯一
原因”的消融证据。

## 8. reduction robustness：12 / 12 过闸

主 family：

1. element RMS；
2. mean token RMS；
3. median token RMS；
4. p95 token RMS。

每个 seed / reduction 必须同时满足：

- contrast ≥1.5；
- top-5 与固定集合至少重合 3；
- 与 element-RMS 32-layer Spearman ≥0.8。

结果：

| reduction | seed contrasts | 最低 top-5 overlap | 最低 Spearman | verdict |
|---|---|---:|---:|---:|
| element RMS | 3.046 / 3.333 / 1.881 | 3 | 1.000 | pass |
| token RMS mean | 2.869 / 3.182 / 1.808 | 3 | 0.958 | pass |
| token RMS median | 2.646 / 2.905 / 1.666 | 3 | **0.895** | pass |
| token RMS p95 | 3.143 / 3.532 / 2.012 | 3 | 0.993 | pass |

总判定：

```text
12 / 12 cells pass
robust within the preregistered reduction family
```

`global_l2` 与 element RMS 的固定 shape 代数控制也通过。batch-mean / token-mean
reduction 同样保存，但它们允许正负梯度先抵消，按协议只作探索性读数，不进入 robustness
判定。

这个结果支持：

> layer 21–25 峰不是只由“先平方再平均”的单一 reduction 选择制造的。

它不支持：

> 论文所有可能的 gradient magnitude 定义都会给出同一曲线。

## 9. same-forward interventions 到底改了什么

三模式：

### learned

原计算图：

```text
w = softmax(qᵀ RMSNorm(sources))
y = Σ w_i source_i
```

### detached learned

forward 的 `w`、`y`、logits、loss 完全相同；backward 对 sources 保留 learned
value coefficients，但切断 softmax / query / key 的 source-gradient path。

### uniform value backward

forward 仍逐字节返回 learned `y`；backward 对每个 source 返回 `grad_y/N`，不向
softmax / query / key 回传。

作用域是全部 64 个 depth mixers 加 output mixer。它不是只改 layer 21 附近，也不是一次
训练消融。

三个 seed 的最终 forward identity 均满足：

```text
logits hash exact
loss exact
六位置 activation hashes exact
65 mixer summary hash exact
```

所以三模式的梯度差不能归因于不同 forward activation 或不同预测。

## 10. softmax / key path：没有降低峰

learned → detached learned：

| seed | contrast | detached | relative drop | peak relative drop |
|---:|---:|---:|---:|---:|
| 2026073001 | 3.046 | 3.093 | −1.54% | −0.67% |
| 2026073002 | 3.333 | 3.397 | −1.93% | −0.38% |
| 2026073003 | 1.881 | 1.929 | −2.53% | −1.47% |
| mean | — | — | **−2.00%** | **−0.84%** |

“relative drop”为负表示 detaching 后峰略高。预注册规则要求 contrast 与 peak 都下降至少
20%、3 / 3 seed 同向；实际是两项在 3 / 3 seed 都朝相反方向。

结论：

> 全局移除 softmax / query / key 的 source-gradient derivative path，没有在本阈值下
> 降低固定峰；它在三个 seed 中都使峰略增。

这不证明该路径处处为零，也不证明它对训练没有作用。它只否定本轮预注册的
“material peak reduction”方向。

## 11. learned value coefficients：3 / 3 过 material 闸门

detached learned → uniform value backward：

| seed | detached contrast | uniform contrast | contrast drop | peak drop |
|---:|---:|---:|---:|---:|
| 2026073001 | 3.093 | 0.780 | **74.8%** | **39.3%** |
| 2026073002 | 3.397 | 0.786 | **76.9%** | **43.2%** |
| 2026073003 | 1.929 | 0.792 | **58.9%** | **28.6%** |
| mean | — | — | **70.2%** | **37.0%** |

六个相对下降全部超过预注册 20%。uniform value backward 下：

- 固定 target-layer contrast 都低于 0.8；
- peak layer 从 learned / detached 的 layer 21 移到 layer 2；
- forward logits、loss 与 activation 完全不变。

预注册判定：

```text
material sensitivity at the preregistered threshold
3 / 3 seeds
```

允许说：

> 在最终已训练计算图上，learned source value-backward coefficients 是该局部梯度形状的
> material carrier / amplifier。

禁止说：

- “把训练改成 uniform backward 一定更好”；
- “learned mixer 导致 BPC 下降或上升”；
- “峰完全由同层 MLP latest weight造成”；
- “70.2% 是因果贡献率”。

相对下降是对一个**全局反向规则干预**的指标变化，不是可加的路径归因百分比。

## 12. mixer association 与 intervention 如何一起读

最终 observational association：

| scope | metric | Pearson | Spearman |
|---|---|---:|---:|
| 96 seed×layer | MLP latest mass | 0.651 | 0.692 |
| 96 seed×layer | MLP normalized entropy | −0.274 | −0.417 |
| layer 19–28 | MLP latest mass | 0.690 | 0.693 |
| layer 19–28 | MLP max mass | 0.702 | 0.705 |
| layer 19–28 | MLP normalized entropy | −0.636 | −0.640 |
| layer 19–28 | attention latest mass | 0.158 | 0.339 |

Round 06 的 intervention 让“value coefficients 值得关注”从单纯相关线索升级为
same-forward backward sensitivity。但它仍然是**全部 mixers 同时改写**，所以不能把
全局结果定向归因给表中同层 MLP latest mass。

更窄的下一步需要：

- 逐 group / 逐 mixer intervention；
- output mixer 与 64 个 depth mixers 分开；
- current partial、completed group、embedding source 分开；
- 保持 forward exact 的局部 backward path ablation。

这些没有在本轮结果后追加，以免事后挑选 layer。

## 13. replay 与完整复现

seed-1 replay 从初始化完整训练 8,000 steps，不加载 formal checkpoint。

exact 字段：

```text
architecture / depth / seed / steps / batch / target bytes
manifest / model / optimizer contracts
model and optimizer state hashes
six validation evaluations
all training-history checkpoints
six diagnostic steps
six positions
seven reductions
three intervention modes at step 0 / 8,000
65 mixer summaries with quantiles
forward identity / negative control / loss-scale gates
environment / artifact identities
Round 05 equivalence record
```

冻结 compare SHA-256：

```text
05396eaf56429ca8d87815ecf00a5f78be5a9b2ec7cc96014856c09dcedcbb87
```

排除计时、run kind 和输出路径。replay verdict：`exact`。

## 14. 成本数字的正确解释

formal 三个进程的 mean step time 都约 224 ms；peak allocated 约 12.84 GB，
reserved 约 13.92 GB。

它们与 Round 05 单进程约 109 ms 不可直接比较，因为本轮两进程并行竞争同一 RTX 5090，
GPU 利用率 100%。训练 step 本身走父 runner exact 路径，新增诊断只发生在冻结时点。

因此：

- 计时证明实验真实执行；
- 计时不用于评价新诊断 overhead；
- 更不能外推到 K3 训练系统。

## 15. 工件与哈希

核心源码：

| 工件 | SHA-256 |
|---|---|
| manifest | `d5302a249249a07d362819134763d14e7d32307f22cff416c665ed9606142fef` |
| protocol | `6cb101b8760d9f1c81caeb2f16880b16152da103867224a06761a75a12984a16` |
| scoping | `590166bd62580bb8238293823cfcc39bc0a465fec4c697025343f3f1138abd27` |
| runner | `77298081d3c491d2e88e4705995174b9879ef377f520eb5fe5ea107e7a1da084` |
| analyzer | `b9dd7f723e8c5765ecffd9ae3050ff7a95643f95853adaeeaa2c2c323d0ca057` |

raw physical hashes：

| 文件 | SHA-256 |
|---|---|
| formal seed-1 | `e39e93b7a7fce3c56f5f14f95cfdc04afdce53628affee1202fe62bd1bdb7f71` |
| formal seed-2 | `1c6f6c731030ec0adb2a8e7a4d586e0c4005cc3319568a7ac83c08c2a4b8eaf8` |
| formal seed-3 | `115f8245577ece6dfaaa8ada68445c186e6523a7f3b26efcc3eb4c0c4ce82406` |
| replay seed-1 | `4f91c7a2698662ea69af9aa3425e144107834fd9b6b717fb82b84f153b867dc5` |

聚合工件：

| 工件 | physical SHA-256 | canonical SHA-256 |
|---|---|---|
| full aggregate | `75058f9e…c1e90` | `1d0faef2…fc8b4` |
| compact | `7b3a3749…8ef6c` | `a430dd26…26cd` |
| reproduction | `86ac20ee…879a` | `7c522314…3515` |

完整值保存在文件自身和 `reproduction.json`，缩写只用于阅读。

## 16. 允许与禁止的最终表述

### 允许

> 固定 layer 21–25 峰在四种预注册 Token-gradient reductions 中 12 / 12 过闸，
> 所以它在本轮 reduction family 内稳健。

> 在同一个 learned forward 上，全局 value-backward coefficient uniformization 使
> contrast / peak 在 3 / 3 seed 超过 20% 下降阈值。

> 全局移除 softmax/key source-gradient path 没有降低峰，反而在 3 / 3 seed 略增。

> 峰从训练中发展，且 seed-3 的形成更晚、更弱。

### 禁止

- “找到了梯度尖峰的唯一来源”；
- “pre-attention 是尖峰生成点”；
- “论文 Figure 5(c) 已复现”；
- “Kimi K3 checkpoint 有 layer 21 尖峰”；
- “uniform backward 会提高训练质量”；
- “learned mixer 的 70.2% 梯度是坏的”；
- “softmax/key path 没有任何作用”；
- 从 3 seeds 推断总体显著性；
- 从 width 192 / depth 32 外推到 2.8T 参数。

## 17. 下一轮最有价值的实验

1. 把全局 intervention 拆成 output mixer、group 6、group 7 和其他 mixers 四组；
2. 对 completed-group value path 与 current-partial value path 分开做 same-forward backward
   ablation；
3. 预先固定 local intervention grid，不根据本轮最大的单层事后选择；
4. 比较“只改诊断 backward”与“从初始化按替代 backward 训练”的身份差异；
5. 若 Attention Residuals 官方发布 Figure 5 telemetry，再开独立 protocol 对齐其 tensor、
   norm、reduction、batch 与 AMP 时点。

真实 K3 forward 仍受 `A_log [128]→[96]` 官方转换合同缺失阻断；本轮不绕过该边界。