# K3 Attention Residuals 局部 mixer 路径：Round 07 结果审计

研究日期：2026-07-30  
协议：`llm-atlas-k3-attnres-local-path-v1`  
预注册 commit：`6911efc`  
结果前 runner / analyzer commit：`39a9ad6`  
研究身份：**受 Round 05 / 06 启发的定向 reduced-model mechanism probe**

## 0. 一句话结论

> group 6+7 的 16 个 depth mixers 在 learned 背景上的局部 uniform intervention，
> 足以复现全局 log-gap reduction 的至少一半；但从 all-uniform 背景只恢复这 16 个
> mixer 时，contrast 恢复超过一半，peak 只恢复约 35.5%–41.3%。因此本轮得到强的
> **one-sided evidence**，但没有通过预注册的双向 localization 门。

这不是一句保守套话，而是协议第 13 节的直接判定：

```text
groups 6+7 sufficiency  = PASS 6 / 6
groups 6+7 restoration = FAIL 3 / 6
localization            = NOT ESTABLISHED
```

## 1. 运行与输入闸门

正式网格：

| run | seed | steps | target bytes | final validation BPC |
|---|---:|---:|---:|---:|
| formal | 2026073001 | 8,000 | 65,536,000 | 1.7123525941 |
| formal | 2026073002 | 8,000 | 65,536,000 | 1.7093240656 |
| formal | 2026073003 | 8,000 | 65,536,000 | 1.7030966813 |
| replay | 2026073001 | 8,000 | 65,536,000 | 1.7123525941 |

正式三格合计 196,608,000 target bytes，含 replay 为 262,144,000。

全部通过：

- 三 seed final model-state 与 Round 06 exact；
- 三 seed final optimizer-state 与 Round 06 exact；
- 六个 validation BPC、training history、六个 parent `learned` diagnostics exact；
- step 0 / 8,000 的 `detached_learned` 与 Round 06 同名 endpoint exact；
- step 0 / 8,000 的 `uniform_all` 与 Round 06
  `uniform_value_backward` endpoint exact；
- 14 modes 的 logits、loss、六位置 activations、父 mixer summaries exact；
- 65 次 selector visits 的 identity、顺序、唯一性、exact mask 与 census 全部通过；
- step-0 14-mode negative control、parent learned-vs-detached control、
  `loss ×1 / ×2` scale gate 全部通过；
- seed-1 从初始化完整 replay exact。

因此后续差异来自同一 forward state 上的预注册 backward coefficient masks，不是不同训练
状态、batch、loss、activation 或 selector 漂移。

## 2. 全局端点先复现

最终 `post_mlp_state / element_rms`：

| metric | detached learned（3-seed mean） | uniform all（3-seed mean） | Round 06 per-seed mean relative drop |
|---|---:|---:|---:|
| spike contrast | 2.8065 | 0.7859 | 70.2% |
| peak / layer mean | 3.0651 | 1.8964 | 37.0% |

每个 seed、两个指标的 `G_X = ln(X_ref / X_uniform_all)` 都严格为正，raw relative
drop 6 / 6 超过 20%。global gap gate 完整成立。

这一步重要，因为局部 score 的分母不是任意“改善空间”，而是同一 seed、同一指标的
实测 global log gap。若任一 global gap 不成立，本轮主判定就必须停止；实际没有触发该
停止规则。

## 3. groups 6+7：充分性很强

只把 mixer indices 40–55 改成 uniform，其他 49 个 mixer 保持 detached learned：

| seed | `S_contrast` | `S_peak` | 50% × two metrics |
|---:|---:|---:|---:|
| 2026073001 | 0.697 | 1.817 | PASS |
| 2026073002 | 0.676 | 1.783 | PASS |
| 2026073003 | 0.658 | 1.501 | PASS |
| **mean** | **0.677** | **1.700** | **6 / 6** |

raw metric 的三 seed mean 也从 reference 的 `2.8065 / 3.0651` 变为
`1.1737 / 1.3450`。

`S_peak > 1` 不是 170% 因果贡献。它只表示在 log ratio 上，局部 uniform groups 6+7
把 peak 推得比 all-65 uniform endpoint 还低。这是很直接的 non-additivity / interaction
信号，也是协议坚持“不裁剪 score 到 [0,1]”的原因。

允许结论：

> groups 6+7 在本 diagnostic 中足以复现至少一半 global log-gap reduction。

禁止结论：

- “这 16 个 mixer 解释了 67.7% / 170.0% 的尖峰”；
- “剩下 49 个 mixer 只贡献 32.3% / −70.0%”；
- “group 6+7 是唯一原因”。

## 4. 反向 restoration 没有给出同样答案

从 all-uniform 背景出发，只把 groups 6+7 恢复为 detached-learned coefficients；
其他 49 个 mixer 仍为 uniform：

| seed | `R_contrast` | `R_peak` | 50% × two metrics |
|---:|---:|---:|---:|
| 2026073001 | 0.649 PASS | 0.372 FAIL | FAIL |
| 2026073002 | 0.621 PASS | 0.355 FAIL | FAIL |
| 2026073003 | 0.680 PASS | 0.413 FAIL | FAIL |
| **mean** | **0.650** | **0.380** | **3 / 6** |

raw metric 的三 seed mean 从 all-uniform 的 `0.7859 / 1.8964` 恢复为
`1.7693 / 2.2658`。contrast 明显朝 reference 回升，但 peak 的 log-gap recovery
没有一个 seed 达到 50%。

这说明同一个 scope 的作用强烈依赖其他 mixer 处于 learned 还是 uniform 背景：

- learned 背景中 uniformize groups 6+7，足以大幅压低 contrast 与 peak；
- uniform 背景中 restore groups 6+7，足以恢复 contrast，却不足以恢复 peak；
- 两个方向不对称，不能用单侧 sufficiency 替代双向 localization。

因此正式 verdict 是：

```text
one_sided_evidence_localization_not_established
```

不是 “almost passed”，也不因 `R_peak` mean 约 0.38 而软化 0.50 阈值。

## 5. 单 group 结果：同样显示交互

### 5.1 sufficiency

| scope | mean `S_contrast` | mean `S_peak` | 20% gate |
|---|---:|---:|---:|
| group 6 | 0.281 | 1.044 | PASS 6 / 6 |
| group 7 | 0.438 | 0.843 | PASS 6 / 6 |

两个单 group 都在两个指标、三个 seed 通过 material local sufficiency。

但：

```text
S(group6) + S(group7) ≠ S(groups6+7)
```

尤其 peak 上，两个单 group 与联合 scope 都可能超过 global endpoint，不能按 mixer
数量或 score 相加做贡献账。

### 5.2 restoration

| restored scope | mean `R_contrast` | mean `R_peak` | 20% gate |
|---|---:|---:|---:|
| group 6 | +0.248 | −0.146 | MIXED / FAIL 3 / 6 |
| group 7 | +0.409 | −0.191 | MIXED / FAIL 3 / 6 |

恢复单个 group 时，contrast 在三 seed 都超过 20%，peak 却在三 seed 全为负：相对
all-uniform，恢复一个 group 的 learned coefficients 反而让最高层 / 均值更低。

这不是 “group 没作用”，而是 effect direction 随 metric 与背景改变。它进一步反对
简单、可加的局部归因故事。

## 6. attention vs MLP：只有 group 7 过闸

### group 6

MLP-only 在 6 个 branch cells 中赢 5 个；seed 2026073003 的 contrast
`S=0.177 < 0.20`。因此：

```text
group 6 branch dominance = NOT ESTABLISHED
```

不能因为 margin 大、均值高，忽略 material threshold 的单格失败。

### group 7

| branch | mean `S_contrast` | mean `S_peak` |
|---|---:|---:|
| attention-only | 0.015 | 0.026 |
| MLP-only | 0.426 | 0.823 |

MLP-only 自身 material，且在两个指标、三个 seed 都比 attention-only 高至少
15 percentage points，因此：

```text
group 7 MLP branch-dominant at the preregistered margin
```

这是协议第 14 节的**次级、sufficiency-only、探索性**判定；没有 branch-level
restoration，不得升级为第 13 节的双向 localization。

## 7. output / depth controls

| control | mean `S_contrast` | mean `S_peak` | verdict |
|---|---:|---:|---|
| output-only（1 mixer） | 0.131 | 0.187 | 0 / 6 at 50% |
| all-depth（64 mixers） | 0.949 | 1.145 | near / beyond global endpoint |

output mixer 单独无法解释 global gap 的一半。all-depth 已复现绝大多数 contrast gap，
peak 甚至超过 all-65 endpoint；把 output 与 depth scores 相加会产生负
`interaction_residual`。该 residual 只是 bookkeeping，不预期为 0，不是统计交互检验。

## 8. 32-layer 谱的直观变化

三个 seed 的 reference peak 都在 layer 21；all-uniform peak 都迁到 layer 2。

groups 6+7 only：

- seed 1 peak → layer 5；
- seed 2 peak → layer 25；
- seed 3 peak → layer 6。

restore groups 6+7 on uniform background：

- 三 seed peak 都回到 layer 21；
- 但 peak / mean 的恢复比例仍只有 0.355–0.413。

“peak layer 回来了”与“peak 强度恢复超过一半”不是同一判据。网站会同时展示谱与
预注册 score，避免只凭最高点位置讲故事。

## 9. replay 与 artifact 链

seed 2026073001 从初始化完整重跑。排除 `run_kind`、timing 与 self canonical hash 后：

```text
formal seed1 == replay
compare SHA-256 = 7dbd15ad03fbd357c5d91e159706d63b24703722f76c492ed1dc733535d6b9cf
```

它覆盖训练状态、六 checkpoints、14-mode 两端矩阵、六位置 gradient reductions、
selector visits 与所有 gates，不只是 final BPC。

冻结物理 hashes：

| artifact | SHA-256 |
|---|---|
| manifest | `db01e92e…9139` |
| runner | `b42879e2…b03d` |
| analyzer | `e0921562…d02b` |
| packager | `6a9ada0b…9196` |
| aggregate | `bb0ec9fc…160e` |
| compact | `3bb6c158…9c08` |
| reproduction | `524a6883…5db` |

canonical hashes：

```text
aggregate    b86d119cd2f106e2cbee8a35760ed3244336a2fcfeb9178ea1e7dab13fc6f215
compact      2aff9288f52d3d41bb1f59c64d9a07518ad3e2120c61615478087b24aaabd835
reproduction 6f5d98fce6446fecc966dd2675f272f2c4f0c9a39a5741fabc4ffad6852ca7f4
```

## 10. 两次 Grok Headless 审阅

### 结果前

session `019fb151-9627-76c1-b7d7-53012874f85c` 找出 selector API、output identity、
“restore to learned”歧义、parent learned 调度、20% 分母和 negative control 六个硬问题。
全部在预注册 freeze 前修正并留档。

### 结果后

session `019fb19d-94a3-7231-9a63-3a1ef33a9892` 只读对照 protocol、manifest、
analyzer 与 aggregate，独立复算代表性 `G/S/R` cells：

- 阻断实现错误：0；
- one-sided verdict：确认正确；
- 不允许修改阈值；
- 指出单 group restoration 的 `score_sign_split` reason 是跨指标汇总，因此 reason
  wording 略宽；`mixed / fail` 本身仍由 C/P pass split 独立成立，主 verdict 不受影响。

Grok 是方法学审稿人，不是论文或实验事实来源；正式证据仍是冻结代码与 raw outputs。

## 11. `A_log` 工件边界同步更新

本轮仍不是 K3 2.8T checkpoint forward。截止 2026-07-30 12:35 CST：

- official main 仍是 `9f62e4e9fffbd0a83ddd60e1c209d828994b3569`，96 vs 128
  mismatch 未修；
- community PR #144 把 parameter 改成 128，但没有独立 forward 验证；
- community PR #150 保留 96，并在加载时验证 / 裁掉 32 个全零尾项；提交者报告检查
  69 层并完成 disk-offloaded end-to-end generation；
- 两个 PR 都未合并，Moonshot 尚未给出官方裁决。

因此“没有任何公开候选解释”已经过时；“官方 contract 已解决”同样不成立。

## 12. 最强允许结论

可以说：

> 在本缩小 Block AttnRes 模型的同前向 diagnostic backward 中，global learned-value
> coefficient sensitivity 对 groups 6+7 的局部 uniformization 具有强 sufficiency；
> restoration 只在 contrast 上超过一半，在 peak 上稳定不足一半，因此预注册的双向
> localization 未建立。group 7 的 MLP mixer 在次级 sufficiency-only branch 判定中占优。

不能说：

- “证明 K3 的尖峰来自 group 6 / 7”；
- “groups 6+7 解释了 67.7% / 170.0%”；
- “MLP 是唯一原因”；
- “只要把这些 mixer 训练成 uniform 就会更稳定”；
- “复现了 K3 Figure 5(c)”；
- “community PR #150 已经是官方 `A_log` 修复”。