wuyang
303 lines
11 KiB
Markdown
303 lines
11 KiB
Markdown
# K3 Attention Residuals 局部 mixer 路径：Round 07 结果审计
|
||
|
||
研究日期：2026-07-30
|
||
协议：`llm-atlas-k3-attnres-local-path-v1`
|
||
预注册 commit：`6911efc`
|
||
结果前 runner / analyzer commit：`39a9ad6`
|
||
研究身份：**受 Round 05 / 06 启发的定向 reduced-model mechanism probe**
|
||
|
||
## 0. 一句话结论
|
||
|
||
> group 6+7 的 16 个 depth mixers 在 learned 背景上的局部 uniform intervention，
|
||
> 足以复现全局 log-gap reduction 的至少一半；但从 all-uniform 背景只恢复这 16 个
|
||
> mixer 时，contrast 恢复超过一半，peak 只恢复约 35.5%–41.3%。因此本轮得到强的
|
||
> **one-sided evidence**，但没有通过预注册的双向 localization 门。
|
||
|
||
这不是一句保守套话，而是协议第 13 节的直接判定：
|
||
|
||
```text
|
||
groups 6+7 sufficiency = PASS 6 / 6
|
||
groups 6+7 restoration = FAIL 3 / 6
|
||
localization = NOT ESTABLISHED
|
||
```
|
||
|
||
## 1. 运行与输入闸门
|
||
|
||
正式网格：
|
||
|
||
| run | seed | steps | target bytes | final validation BPC |
|
||
|---|---:|---:|---:|---:|
|
||
| formal | 2026073001 | 8,000 | 65,536,000 | 1.7123525941 |
|
||
| formal | 2026073002 | 8,000 | 65,536,000 | 1.7093240656 |
|
||
| formal | 2026073003 | 8,000 | 65,536,000 | 1.7030966813 |
|
||
| replay | 2026073001 | 8,000 | 65,536,000 | 1.7123525941 |
|
||
|
||
正式三格合计 196,608,000 target bytes，含 replay 为 262,144,000。
|
||
|
||
全部通过：
|
||
|
||
- 三 seed final model-state 与 Round 06 exact；
|
||
- 三 seed final optimizer-state 与 Round 06 exact；
|
||
- 六个 validation BPC、training history、六个 parent `learned` diagnostics exact；
|
||
- step 0 / 8,000 的 `detached_learned` 与 Round 06 同名 endpoint exact；
|
||
- step 0 / 8,000 的 `uniform_all` 与 Round 06
|
||
`uniform_value_backward` endpoint exact；
|
||
- 14 modes 的 logits、loss、六位置 activations、父 mixer summaries exact；
|
||
- 65 次 selector visits 的 identity、顺序、唯一性、exact mask 与 census 全部通过；
|
||
- step-0 14-mode negative control、parent learned-vs-detached control、
|
||
`loss ×1 / ×2` scale gate 全部通过；
|
||
- seed-1 从初始化完整 replay exact。
|
||
|
||
因此后续差异来自同一 forward state 上的预注册 backward coefficient masks，不是不同训练
|
||
状态、batch、loss、activation 或 selector 漂移。
|
||
|
||
## 2. 全局端点先复现
|
||
|
||
最终 `post_mlp_state / element_rms`：
|
||
|
||
| metric | detached learned（3-seed mean） | uniform all（3-seed mean） | Round 06 per-seed mean relative drop |
|
||
|---|---:|---:|---:|
|
||
| spike contrast | 2.8065 | 0.7859 | 70.2% |
|
||
| peak / layer mean | 3.0651 | 1.8964 | 37.0% |
|
||
|
||
每个 seed、两个指标的 `G_X = ln(X_ref / X_uniform_all)` 都严格为正，raw relative
|
||
drop 6 / 6 超过 20%。global gap gate 完整成立。
|
||
|
||
这一步重要，因为局部 score 的分母不是任意“改善空间”，而是同一 seed、同一指标的
|
||
实测 global log gap。若任一 global gap 不成立，本轮主判定就必须停止；实际没有触发该
|
||
停止规则。
|
||
|
||
## 3. groups 6+7：充分性很强
|
||
|
||
只把 mixer indices 40–55 改成 uniform，其他 49 个 mixer 保持 detached learned：
|
||
|
||
| seed | `S_contrast` | `S_peak` | 50% × two metrics |
|
||
|---:|---:|---:|---:|
|
||
| 2026073001 | 0.697 | 1.817 | PASS |
|
||
| 2026073002 | 0.676 | 1.783 | PASS |
|
||
| 2026073003 | 0.658 | 1.501 | PASS |
|
||
| **mean** | **0.677** | **1.700** | **6 / 6** |
|
||
|
||
raw metric 的三 seed mean 也从 reference 的 `2.8065 / 3.0651` 变为
|
||
`1.1737 / 1.3450`。
|
||
|
||
`S_peak > 1` 不是 170% 因果贡献。它只表示在 log ratio 上，局部 uniform groups 6+7
|
||
把 peak 推得比 all-65 uniform endpoint 还低。这是很直接的 non-additivity / interaction
|
||
信号，也是协议坚持“不裁剪 score 到 [0,1]”的原因。
|
||
|
||
允许结论：
|
||
|
||
> groups 6+7 在本 diagnostic 中足以复现至少一半 global log-gap reduction。
|
||
|
||
禁止结论：
|
||
|
||
- “这 16 个 mixer 解释了 67.7% / 170.0% 的尖峰”；
|
||
- “剩下 49 个 mixer 只贡献 32.3% / −70.0%”；
|
||
- “group 6+7 是唯一原因”。
|
||
|
||
## 4. 反向 restoration 没有给出同样答案
|
||
|
||
从 all-uniform 背景出发，只把 groups 6+7 恢复为 detached-learned coefficients；
|
||
其他 49 个 mixer 仍为 uniform：
|
||
|
||
| seed | `R_contrast` | `R_peak` | 50% × two metrics |
|
||
|---:|---:|---:|---:|
|
||
| 2026073001 | 0.649 PASS | 0.372 FAIL | FAIL |
|
||
| 2026073002 | 0.621 PASS | 0.355 FAIL | FAIL |
|
||
| 2026073003 | 0.680 PASS | 0.413 FAIL | FAIL |
|
||
| **mean** | **0.650** | **0.380** | **3 / 6** |
|
||
|
||
raw metric 的三 seed mean 从 all-uniform 的 `0.7859 / 1.8964` 恢复为
|
||
`1.7693 / 2.2658`。contrast 明显朝 reference 回升，但 peak 的 log-gap recovery
|
||
没有一个 seed 达到 50%。
|
||
|
||
这说明同一个 scope 的作用强烈依赖其他 mixer 处于 learned 还是 uniform 背景：
|
||
|
||
- learned 背景中 uniformize groups 6+7，足以大幅压低 contrast 与 peak；
|
||
- uniform 背景中 restore groups 6+7，足以恢复 contrast，却不足以恢复 peak；
|
||
- 两个方向不对称，不能用单侧 sufficiency 替代双向 localization。
|
||
|
||
因此正式 verdict 是：
|
||
|
||
```text
|
||
one_sided_evidence_localization_not_established
|
||
```
|
||
|
||
不是 “almost passed”，也不因 `R_peak` mean 约 0.38 而软化 0.50 阈值。
|
||
|
||
## 5. 单 group 结果：同样显示交互
|
||
|
||
### 5.1 sufficiency
|
||
|
||
| scope | mean `S_contrast` | mean `S_peak` | 20% gate |
|
||
|---|---:|---:|---:|
|
||
| group 6 | 0.281 | 1.044 | PASS 6 / 6 |
|
||
| group 7 | 0.438 | 0.843 | PASS 6 / 6 |
|
||
|
||
两个单 group 都在两个指标、三个 seed 通过 material local sufficiency。
|
||
|
||
但：
|
||
|
||
```text
|
||
S(group6) + S(group7) ≠ S(groups6+7)
|
||
```
|
||
|
||
尤其 peak 上，两个单 group 与联合 scope 都可能超过 global endpoint，不能按 mixer
|
||
数量或 score 相加做贡献账。
|
||
|
||
### 5.2 restoration
|
||
|
||
| restored scope | mean `R_contrast` | mean `R_peak` | 20% gate |
|
||
|---|---:|---:|---:|
|
||
| group 6 | +0.248 | −0.146 | MIXED / FAIL 3 / 6 |
|
||
| group 7 | +0.409 | −0.191 | MIXED / FAIL 3 / 6 |
|
||
|
||
恢复单个 group 时，contrast 在三 seed 都超过 20%，peak 却在三 seed 全为负：相对
|
||
all-uniform，恢复一个 group 的 learned coefficients 反而让最高层 / 均值更低。
|
||
|
||
这不是 “group 没作用”，而是 effect direction 随 metric 与背景改变。它进一步反对
|
||
简单、可加的局部归因故事。
|
||
|
||
## 6. attention vs MLP：只有 group 7 过闸
|
||
|
||
### group 6
|
||
|
||
MLP-only 在 6 个 branch cells 中赢 5 个；seed 2026073003 的 contrast
|
||
`S=0.177 < 0.20`。因此：
|
||
|
||
```text
|
||
group 6 branch dominance = NOT ESTABLISHED
|
||
```
|
||
|
||
不能因为 margin 大、均值高，忽略 material threshold 的单格失败。
|
||
|
||
### group 7
|
||
|
||
| branch | mean `S_contrast` | mean `S_peak` |
|
||
|---|---:|---:|
|
||
| attention-only | 0.015 | 0.026 |
|
||
| MLP-only | 0.426 | 0.823 |
|
||
|
||
MLP-only 自身 material，且在两个指标、三个 seed 都比 attention-only 高至少
|
||
15 percentage points，因此：
|
||
|
||
```text
|
||
group 7 MLP branch-dominant at the preregistered margin
|
||
```
|
||
|
||
这是协议第 14 节的**次级、sufficiency-only、探索性**判定；没有 branch-level
|
||
restoration，不得升级为第 13 节的双向 localization。
|
||
|
||
## 7. output / depth controls
|
||
|
||
| control | mean `S_contrast` | mean `S_peak` | verdict |
|
||
|---|---:|---:|---|
|
||
| output-only（1 mixer） | 0.131 | 0.187 | 0 / 6 at 50% |
|
||
| all-depth（64 mixers） | 0.949 | 1.145 | near / beyond global endpoint |
|
||
|
||
output mixer 单独无法解释 global gap 的一半。all-depth 已复现绝大多数 contrast gap，
|
||
peak 甚至超过 all-65 endpoint；把 output 与 depth scores 相加会产生负
|
||
`interaction_residual`。该 residual 只是 bookkeeping，不预期为 0，不是统计交互检验。
|
||
|
||
## 8. 32-layer 谱的直观变化
|
||
|
||
三个 seed 的 reference peak 都在 layer 21；all-uniform peak 都迁到 layer 2。
|
||
|
||
groups 6+7 only：
|
||
|
||
- seed 1 peak → layer 5；
|
||
- seed 2 peak → layer 25；
|
||
- seed 3 peak → layer 6。
|
||
|
||
restore groups 6+7 on uniform background：
|
||
|
||
- 三 seed peak 都回到 layer 21；
|
||
- 但 peak / mean 的恢复比例仍只有 0.355–0.413。
|
||
|
||
“peak layer 回来了”与“peak 强度恢复超过一半”不是同一判据。网站会同时展示谱与
|
||
预注册 score，避免只凭最高点位置讲故事。
|
||
|
||
## 9. replay 与 artifact 链
|
||
|
||
seed 2026073001 从初始化完整重跑。排除 `run_kind`、timing 与 self canonical hash 后：
|
||
|
||
```text
|
||
formal seed1 == replay
|
||
compare SHA-256 = 7dbd15ad03fbd357c5d91e159706d63b24703722f76c492ed1dc733535d6b9cf
|
||
```
|
||
|
||
它覆盖训练状态、六 checkpoints、14-mode 两端矩阵、六位置 gradient reductions、
|
||
selector visits 与所有 gates，不只是 final BPC。
|
||
|
||
冻结物理 hashes：
|
||
|
||
| artifact | SHA-256 |
|
||
|---|---|
|
||
| manifest | `db01e92e…9139` |
|
||
| runner | `b42879e2…b03d` |
|
||
| analyzer | `e0921562…d02b` |
|
||
| packager | `6a9ada0b…9196` |
|
||
| aggregate | `bb0ec9fc…160e` |
|
||
| compact | `3bb6c158…9c08` |
|
||
| reproduction | `524a6883…5db` |
|
||
|
||
canonical hashes：
|
||
|
||
```text
|
||
aggregate b86d119cd2f106e2cbee8a35760ed3244336a2fcfeb9178ea1e7dab13fc6f215
|
||
compact 2aff9288f52d3d41bb1f59c64d9a07518ad3e2120c61615478087b24aaabd835
|
||
reproduction 6f5d98fce6446fecc966dd2675f272f2c4f0c9a39a5741fabc4ffad6852ca7f4
|
||
```
|
||
|
||
## 10. 两次 Grok Headless 审阅
|
||
|
||
### 结果前
|
||
|
||
session `019fb151-9627-76c1-b7d7-53012874f85c` 找出 selector API、output identity、
|
||
“restore to learned”歧义、parent learned 调度、20% 分母和 negative control 六个硬问题。
|
||
全部在预注册 freeze 前修正并留档。
|
||
|
||
### 结果后
|
||
|
||
session `019fb19d-94a3-7231-9a63-3a1ef33a9892` 只读对照 protocol、manifest、
|
||
analyzer 与 aggregate，独立复算代表性 `G/S/R` cells：
|
||
|
||
- 阻断实现错误：0；
|
||
- one-sided verdict：确认正确；
|
||
- 不允许修改阈值；
|
||
- 指出单 group restoration 的 `score_sign_split` reason 是跨指标汇总，因此 reason
|
||
wording 略宽；`mixed / fail` 本身仍由 C/P pass split 独立成立，主 verdict 不受影响。
|
||
|
||
Grok 是方法学审稿人，不是论文或实验事实来源；正式证据仍是冻结代码与 raw outputs。
|
||
|
||
## 11. `A_log` 工件边界同步更新
|
||
|
||
本轮仍不是 K3 2.8T checkpoint forward。截止 2026-07-30 12:35 CST：
|
||
|
||
- official main 仍是 `9f62e4e9fffbd0a83ddd60e1c209d828994b3569`，96 vs 128
|
||
mismatch 未修；
|
||
- community PR #144 把 parameter 改成 128，但没有独立 forward 验证；
|
||
- community PR #150 保留 96，并在加载时验证 / 裁掉 32 个全零尾项；提交者报告检查
|
||
69 层并完成 disk-offloaded end-to-end generation；
|
||
- 两个 PR 都未合并，Moonshot 尚未给出官方裁决。
|
||
|
||
因此“没有任何公开候选解释”已经过时；“官方 contract 已解决”同样不成立。
|
||
|
||
## 12. 最强允许结论
|
||
|
||
可以说：
|
||
|
||
> 在本缩小 Block AttnRes 模型的同前向 diagnostic backward 中，global learned-value
|
||
> coefficient sensitivity 对 groups 6+7 的局部 uniformization 具有强 sufficiency；
|
||
> restoration 只在 contrast 上超过一半，在 peak 上稳定不足一半，因此预注册的双向
|
||
> localization 未建立。group 7 的 MLP mixer 在次级 sufficiency-only branch 判定中占优。
|
||
|
||
不能说：
|
||
|
||
- “证明 K3 的尖峰来自 group 6 / 7”；
|
||
- “groups 6+7 解释了 67.7% / 170.0%”；
|
||
- “MLP 是唯一原因”；
|
||
- “只要把这些 mixer 训练成 uniform 就会更稳定”；
|
||
- “复现了 K3 Figure 5(c)”；
|
||
- “community PR #150 已经是官方 `A_log` 修复”。
|