llm-atlas/research/K3_ATTNRES_LOCAL_PATH_AUDIT.md

K3 Attention Residuals 局部 mixer 路径：Round 07 结果审计

研究日期：2026-07-30
协议：llm-atlas-k3-attnres-local-path-v1
预注册 commit：6911efc
结果前 runner / analyzer commit：39a9ad6
研究身份：受 Round 05 / 06 启发的定向 reduced-model mechanism probe

0. 一句话结论

group 6+7 的 16 个 depth mixers 在 learned 背景上的局部 uniform intervention， 足以复现全局 log-gap reduction 的至少一半；但从 all-uniform 背景只恢复这 16 个 mixer 时，contrast 恢复超过一半，peak 只恢复约 35.5%–41.3%。因此本轮得到强的 one-sided evidence，但没有通过预注册的双向 localization 门。

这不是一句保守套话，而是协议第 13 节的直接判定：

groups 6+7 sufficiency  = PASS 6 / 6
groups 6+7 restoration = FAIL 3 / 6
localization            = NOT ESTABLISHED

1. 运行与输入闸门

正式网格：

run	seed	steps	target bytes	final validation BPC
formal	2026073001	8,000	65,536,000	1.7123525941
formal	2026073002	8,000	65,536,000	1.7093240656
formal	2026073003	8,000	65,536,000	1.7030966813
replay	2026073001	8,000	65,536,000	1.7123525941

正式三格合计 196,608,000 target bytes，含 replay 为 262,144,000。

全部通过：

• 三 seed final model-state 与 Round 06 exact；
• 三 seed final optimizer-state 与 Round 06 exact；
• 六个 validation BPC、training history、六个 parent learned diagnostics exact；
• step 0 / 8,000 的 detached_learned 与 Round 06 同名 endpoint exact；
• step 0 / 8,000 的 uniform_all 与 Round 06 uniform_value_backward endpoint exact；
• 14 modes 的 logits、loss、六位置 activations、父 mixer summaries exact；
• 65 次 selector visits 的 identity、顺序、唯一性、exact mask 与 census 全部通过；
• step-0 14-mode negative control、parent learned-vs-detached control、 loss ×1 / ×2 scale gate 全部通过；
• seed-1 从初始化完整 replay exact。

因此后续差异来自同一 forward state 上的预注册 backward coefficient masks，不是不同训练 状态、batch、loss、activation 或 selector 漂移。

2. 全局端点先复现

最终 post_mlp_state / element_rms：

metric	detached learned（3-seed mean）	uniform all（3-seed mean）	Round 06 per-seed mean relative drop
spike contrast	2.8065	0.7859	70.2%
peak / layer mean	3.0651	1.8964	37.0%

每个 seed、两个指标的 G_X = ln(X_ref / X_uniform_all) 都严格为正，raw relative drop 6 / 6 超过 20%。global gap gate 完整成立。

这一步重要，因为局部 score 的分母不是任意“改善空间”，而是同一 seed、同一指标的 实测 global log gap。若任一 global gap 不成立，本轮主判定就必须停止；实际没有触发该 停止规则。

3. groups 6+7：充分性很强

只把 mixer indices 40–55 改成 uniform，其他 49 个 mixer 保持 detached learned：

seed	S_contrast	S_peak	50% × two metrics
2026073001	0.697	1.817	PASS
2026073002	0.676	1.783	PASS
2026073003	0.658	1.501	PASS
mean	0.677	1.700	6 / 6

raw metric 的三 seed mean 也从 reference 的 2.8065 / 3.0651 变为 1.1737 / 1.3450。

S_peak > 1 不是 170% 因果贡献。它只表示在 log ratio 上，局部 uniform groups 6+7 把 peak 推得比 all-65 uniform endpoint 还低。这是很直接的 non-additivity / interaction 信号，也是协议坚持“不裁剪 score 到 [0,1]”的原因。

允许结论：

groups 6+7 在本 diagnostic 中足以复现至少一半 global log-gap reduction。

禁止结论：

• “这 16 个 mixer 解释了 67.7% / 170.0% 的尖峰”；
• “剩下 49 个 mixer 只贡献 32.3% / −70.0%”；
• “group 6+7 是唯一原因”。

4. 反向 restoration 没有给出同样答案

从 all-uniform 背景出发，只把 groups 6+7 恢复为 detached-learned coefficients； 其他 49 个 mixer 仍为 uniform：

seed	R_contrast	R_peak	50% × two metrics
2026073001	0.649 PASS	0.372 FAIL	FAIL
2026073002	0.621 PASS	0.355 FAIL	FAIL
2026073003	0.680 PASS	0.413 FAIL	FAIL
mean	0.650	0.380	3 / 6

raw metric 的三 seed mean 从 all-uniform 的 0.7859 / 1.8964 恢复为 1.7693 / 2.2658。contrast 明显朝 reference 回升，但 peak 的 log-gap recovery 没有一个 seed 达到 50%。

这说明同一个 scope 的作用强烈依赖其他 mixer 处于 learned 还是 uniform 背景：

• learned 背景中 uniformize groups 6+7，足以大幅压低 contrast 与 peak；
• uniform 背景中 restore groups 6+7，足以恢复 contrast，却不足以恢复 peak；
• 两个方向不对称，不能用单侧 sufficiency 替代双向 localization。

因此正式 verdict 是：

one_sided_evidence_localization_not_established

不是 “almost passed”，也不因 R_peak mean 约 0.38 而软化 0.50 阈值。

5. 单 group 结果：同样显示交互

5.1 sufficiency

scope	mean S_contrast	mean S_peak	20% gate
group 6	0.281	1.044	PASS 6 / 6
group 7	0.438	0.843	PASS 6 / 6

两个单 group 都在两个指标、三个 seed 通过 material local sufficiency。

但：

S(group6) + S(group7) ≠ S(groups6+7)

尤其 peak 上，两个单 group 与联合 scope 都可能超过 global endpoint，不能按 mixer 数量或 score 相加做贡献账。

5.2 restoration

restored scope	mean R_contrast	mean R_peak	20% gate
group 6	+0.248	−0.146	MIXED / FAIL 3 / 6
group 7	+0.409	−0.191	MIXED / FAIL 3 / 6

恢复单个 group 时，contrast 在三 seed 都超过 20%，peak 却在三 seed 全为负：相对 all-uniform，恢复一个 group 的 learned coefficients 反而让最高层 / 均值更低。

这不是 “group 没作用”，而是 effect direction 随 metric 与背景改变。它进一步反对 简单、可加的局部归因故事。

6. attention vs MLP：只有 group 7 过闸

group 6

MLP-only 在 6 个 branch cells 中赢 5 个；seed 2026073003 的 contrast S=0.177 < 0.20。因此：

group 6 branch dominance = NOT ESTABLISHED

不能因为 margin 大、均值高，忽略 material threshold 的单格失败。

group 7

branch	mean S_contrast	mean S_peak
attention-only	0.015	0.026
MLP-only	0.426	0.823

MLP-only 自身 material，且在两个指标、三个 seed 都比 attention-only 高至少 15 percentage points，因此：

group 7 MLP branch-dominant at the preregistered margin

这是协议第 14 节的次级、sufficiency-only、探索性判定；没有 branch-level restoration，不得升级为第 13 节的双向 localization。

7. output / depth controls

control	mean S_contrast	mean S_peak	verdict
output-only（1 mixer）	0.131	0.187	0 / 6 at 50%
all-depth（64 mixers）	0.949	1.145	near / beyond global endpoint

output mixer 单独无法解释 global gap 的一半。all-depth 已复现绝大多数 contrast gap， peak 甚至超过 all-65 endpoint；把 output 与 depth scores 相加会产生负 interaction_residual。该 residual 只是 bookkeeping，不预期为 0，不是统计交互检验。

8. 32-layer 谱的直观变化

三个 seed 的 reference peak 都在 layer 21；all-uniform peak 都迁到 layer 2。

groups 6+7 only：

• seed 1 peak → layer 5；
• seed 2 peak → layer 25；
• seed 3 peak → layer 6。

restore groups 6+7 on uniform background：

• 三 seed peak 都回到 layer 21；
• 但 peak / mean 的恢复比例仍只有 0.355–0.413。

“peak layer 回来了”与“peak 强度恢复超过一半”不是同一判据。网站会同时展示谱与 预注册 score，避免只凭最高点位置讲故事。

9. replay 与 artifact 链

seed 2026073001 从初始化完整重跑。排除 run_kind、timing 与 self canonical hash 后：

formal seed1 == replay
compare SHA-256 = 7dbd15ad03fbd357c5d91e159706d63b24703722f76c492ed1dc733535d6b9cf

它覆盖训练状态、六 checkpoints、14-mode 两端矩阵、六位置 gradient reductions、 selector visits 与所有 gates，不只是 final BPC。

冻结物理 hashes：

artifact	SHA-256
manifest	db01e92e…9139
runner	b42879e2…b03d
analyzer	e0921562…d02b
packager	6a9ada0b…9196
aggregate	bb0ec9fc…160e
compact	3bb6c158…9c08
reproduction	524a6883…5db

canonical hashes：

aggregate    b86d119cd2f106e2cbee8a35760ed3244336a2fcfeb9178ea1e7dab13fc6f215
compact      2aff9288f52d3d41bb1f59c64d9a07518ad3e2120c61615478087b24aaabd835
reproduction 6f5d98fce6446fecc966dd2675f272f2c4f0c9a39a5741fabc4ffad6852ca7f4

10. 两次 Grok Headless 审阅

结果前

session 019fb151-9627-76c1-b7d7-53012874f85c 找出 selector API、output identity、 “restore to learned”歧义、parent learned 调度、20% 分母和 negative control 六个硬问题。 全部在预注册 freeze 前修正并留档。

结果后

session 019fb19d-94a3-7231-9a63-3a1ef33a9892 只读对照 protocol、manifest、 analyzer 与 aggregate，独立复算代表性 G/S/R cells：

• 阻断实现错误：0；
• one-sided verdict：确认正确；
• 不允许修改阈值；
• 指出单 group restoration 的 score_sign_split reason 是跨指标汇总，因此 reason wording 略宽；mixed / fail 本身仍由 C/P pass split 独立成立，主 verdict 不受影响。

Grok 是方法学审稿人，不是论文或实验事实来源；正式证据仍是冻结代码与 raw outputs。

11. A_log 工件边界同步更新

本轮仍不是 K3 2.8T checkpoint forward。截止 2026-07-30 12:35 CST：

• official main 仍是 9f62e4e9fffbd0a83ddd60e1c209d828994b3569，96 vs 128 mismatch 未修；
• community PR #144 把 parameter 改成 128，但没有独立 forward 验证；
• community PR #150 保留 96，并在加载时验证 / 裁掉 32 个全零尾项；提交者报告检查 69 层并完成 disk-offloaded end-to-end generation；
• 两个 PR 都未合并，Moonshot 尚未给出官方裁决。

因此“没有任何公开候选解释”已经过时；“官方 contract 已解决”同样不成立。

12. 最强允许结论

可以说：

在本缩小 Block AttnRes 模型的同前向 diagnostic backward 中，global learned-value coefficient sensitivity 对 groups 6+7 的局部 uniformization 具有强 sufficiency； restoration 只在 contrast 上超过一半，在 peak 上稳定不足一半，因此预注册的双向 localization 未建立。group 7 的 MLP mixer 在次级 sufficiency-only branch 判定中占优。

不能说：

• “证明 K3 的尖峰来自 group 6 / 7”；
• “groups 6+7 解释了 67.7% / 170.0%”；
• “MLP 是唯一原因”；
• “只要把这些 mixer 训练成 uniform 就会更稳定”；
• “复现了 K3 Figure 5(c)”；
• “community PR #150 已经是官方 A_log 修复”。