llm-atlas/research/K3_ATTNRES_SPIKE_SCOPING.md

K3 Attention Residuals 局部梯度尖峰：Round 06 前置定位

研究日期：2026-07-30
阶段身份：探索性 scoping，不是 Round 06 预注册结果
上游协议：llm-atlas-k3-attnres-gradient-scale-v1

1. 为什么先做 scoping

Round 05 已经公开了一个方向分裂：

• Block AttnRes 在 depth 16 / 32、三个 seed 的 6 / 6 配对中都改善首/末四分位失衡；
• 但它也在 6 / 6 配对中提高全层 activation-gradient CV；
• depth 32 的三 seed 平均峰值集中在 layer 21–25。

这意味着下一步不该再问一个笼统的“梯度是否均匀”，而应该问：

1. 尖峰在 attention / MLP block 的哪个位置已经出现？
2. 它是否与 learned mixer 的 source 权重有关？
3. 相关来自 mixer softmax / key 的导数路径，还是来自 learned value coefficients？
4. 换一种公开、合理的 gradient reduction 后，尖峰是否还存在？

Round 05 已保存每个诊断点的逐层 post-MLP gradient RMS 和 64 个子层 mixer 分布。这里先用那些已经见过的数据定位假设，再冻结新协议。Round 06 的因果式 backward-path intervention 不能被描述成盲验证。

2. 对齐规则

depth 32 的 Block AttnRes 使用 8 个 aggregation groups，每组 4 个 Transformer blocks、8 个 attention / MLP residual sublayers。

对 1-based Transformer layer l：

attention mixer index = 2 × (l - 1)
MLP mixer index       = 2 × (l - 1) + 1
group                 = floor((l - 1) / 4) + 1
offset in group       = ((l - 1) mod 4) + 1

latest source mass 定义为对应 mixer mean_weights 的最后一个元素。它在不同 group offset 的语义并不完全相同：

• group 首层 attention mixer 没有 current partial，最后源是最近完成的 group；
• 其他 attention mixer 的最后源是 current partial；
• 每层 MLP mixer 的最后源都是刚加入 attention branch 后的 current partial。

因此不能把所有 last 自动命名为同一种“最近层贡献”。

3. layer 19–28 的三 seed 均值

下表的 gradient 是每个 seed 先按该 seed 的 32 层均值归一化，再跨 seed 平均。 权重和 normalized entropy 也跨三个 seed 平均。

layer	group / offset	gradient / layer mean	attn last	MLP last	attn H/logN	MLP H/logN
19	5 / 3	1.063	0.349	0.452	0.929	0.842
20	5 / 4	1.014	0.316	0.419	0.946	0.863
21	6 / 1	3.042	0.250	0.513	0.969	0.763
22	6 / 2	2.405	0.436	0.563	0.851	0.721
23	6 / 3	1.910	0.400	0.551	0.879	0.737
24	6 / 4	1.548	0.384	0.515	0.889	0.771
25	7 / 1	1.769	0.317	0.358	0.934	0.766
26	7 / 2	1.369	0.343	0.420	0.876	0.764
27	7 / 3	0.986	0.325	0.402	0.891	0.775
28	7 / 4	0.802	0.296	0.304	0.902	0.822

layer 21–24 正好是第 6 个 group，layer 25 是第 7 个 group 的首层。梯度峰并不 只是一个 group boundary 单点；它在第 6 组内部递减，并在下一组首层出现较小的第二峰。

4. 相关线索

把三个 seed 的 32 层合成 96 个点，post-MLP normalized gradient 与 mixer 摘要的 Pearson 相关为：

变量	96 点 r	layer 19–28 的 30 点 r
attention latest-source mass	0.066	0.158
MLP latest-source mass	0.651	0.690
attention normalized entropy	−0.296	−0.057
MLP normalized entropy	−0.274	−0.636
attention max source mass	−0.024	0.158
MLP max source mass	0.230	0.702

这些数值只支持：

尖峰层与更集中的 MLP mixer、尤其较大的 latest-partial mean weight 同时出现。

它们不支持：

• “MLP latest weight 导致梯度尖峰”；
• “第 6 group 是唯一原因”；
• “降低 entropy 就一定增加梯度”；
• “K3 真实 checkpoint 也有相同模式”。

同一个 learned mixer 同时改变 forward activation、value-path gradient coefficient 和 softmax/key derivative path。单看 observational correlation 无法分解这三者。

5. Round 06 要冻结的可证伪问题

Round 06 将复跑与 Round 05 完全相同的 depth-32 / Block 三 seed 训练，并要求最终 model / optimizer hash 与 Round 05 exact。新增诊断只在 optimizer step 之外执行。

它将同时测量：

• pre-attention input；
• attention branch output；
• post-attention partial state；
• pre-MLP input；
• MLP branch output；
• post-MLP partial state；
• 同一 raw gradient tensor 的多种 reduction；
• learned backward；
• learned weights detached backward；
• learned forward + uniform value backward。

其中后两项保持前向 logits、loss 与 activation 完全相同，只改变反向路径。这样才能 区分“相关”与“哪条 backward path 对尖峰有实质贡献”。

完整阈值、失败规则和复现合同见 research/K3_ATTNRES_SPIKE_PROTOCOL.md。