research: publish AttnRes forward training study

research/K3_ATTNRES_FORWARD_TRAINING_AUDIT.md

@@ -0,0 +1,112 @@
+# Round 08 AttnRes 训练期前向干预：结果审计
+
+审计日期：2026-07-30  
+协议：`llm-atlas-k3-attnres-forward-training-v1`  
+结果后 Grok 会话：`019fb28b-a9e1-7643-8e43-06f5e16a2077`
+
+## 1. 一句话结论
+
+冻结 analyzer 的唯一主状态为：
+
+```text
+forward_training_attenuation_established_within_reduced_protocol
+```
+
+联合 `groups 6+7` 的训练期 uniform-forward 消融在三个预注册 seed 上同时通过
+`spike contrast` 与 `peak / mean` 的 20% attenuation 门；逐 seed 与三 seed 平均
+validation BPC 也全部通过质量护栏。结果后独立只读复算得到：
+
+```text
+blocking_errors = 0
+status_confirmed = true
+replay_confirmed = true
+```
+
+这只是在固定 depth-32 缩小 Block AttnRes、固定数据与 8,000-step 预算中的训练期
+架构消融；**不是真实 Kimi-K3 / 2.8T checkpoint 结果，也不是 Figure 5(c) 未公开
+telemetry 的复现。**
+
+## 2. 主门复算
+
+冻结定义：
+
+```text
+S = layers 21–25
+R = other 27 layers
+C = mean(g[S]) / mean(g[R])
+P = max(g) / mean(g)
+D = (X_reference - X_variant) / X_reference
+```
+
+主变体为 `uniform_groups_6_7_forward`，只读复算如下：
+
+| seed | C reference | C variant | C drop | P reference | P variant | P drop | ΔBPC |
+|---|---:|---:|---:|---:|---:|---:|---:|
+| 2026073001 | 3.046269 | 0.806011 | 73.54% | 3.219067 | 1.435618 | 55.40% | +0.005696 |
+| 2026073002 | 3.332848 | 0.758201 | 77.25% | 3.618924 | 1.375016 | 62.00% | +0.009598 |
+| 2026073003 | 1.881492 | 0.712882 | 62.11% | 2.288267 | 1.548141 | 32.34% | +0.004441 |
+
+因此 attenuation 为 `6/6`；最小 contrast drop 为 `62.11%`，最小 peak drop 为
+`32.34%`，都高于冻结的 `20%` 门槛。BPC 三格都低于 `+0.05`，平均
+`+0.006578` 低于 `+0.03`，质量门为 `4/4`。
+
+这里的 contrast 下降不等价于“尖峰层被关闭”：它可能由 spike-window 分子下降、
+27 层 reference 分母上升，或两者共同造成；被联合消融覆盖的 layers 26–28 仍属于
+这个分母。
+
+## 3. 完整性与复现
+
+- 13 个新 raw 文件完整：12 formal + 1 primary replay；
+- 每格 `65,536,000` target bytes，新处理总量 `851,968,000`；
+- 三个历史 paired reference 合计 `196,608,000` bytes，未在 Round 08 重跑；
+- 13/13 raw canonical self-hash、aggregate 与 reproduction self-hash 自洽；
+- architecture / depth / steps / batch 固定为 Block / 32 / 8,000 / 32；
+- initial public/mixer state、schedule、validation、diagnostic、input-gate、model、
+  optimizer 与 scientific environment 对同 seed historical reference 配对 exact；
+- primary seed 1 的 formal / replay scientific payload exact：
+  `b85563ca5cb53e60b39c3801d372376206105b8a089a8633b3e81973a7f0c051`。
+
+四个正式 selector 的 visit、source count、uniform arithmetic 与 reachability 均通过。
+被选 mixer 的 query / key norm 留在 optimizer param groups，但 forward 不再调用它们：
+gradient hook 为 0、Adam state 不存在、最终 tensor 与初始值 byte-exact。未选 mixer 的
+optimizer-state 检查是比科学协议更强的实现审计，不参与主 status。
+
+## 4. 描述性 non-additivity
+
+冻结的 bookkeeping residual 为：
+
+```text
+I67 = ln(Xref / X67) - ln(Xref / X6) - ln(Xref / X7)
+```
+
+step 8,000 的三 seed 平均为：
+
+- spike contrast：`-0.367038`
+- peak / mean：`-0.170448`
+
+它来自三套独立训练，只能描述 joint run 与两个 single runs 的 log-effect 残差；不能
+写成因果 interaction、Shapley contribution 或“group 6/7 互相抑制”的机制结论。
+
+## 5. 两阶段独立审阅
+
+结果前 Grok 实现审阅指出 smoke-only empty selector 的 visit census 可空真。正式
+4×3 路径全部是非空 selector，因此不影响 raw formal 数值；矩阵结束后已删除 early
+return、加入 `forward_calls > 0`，并重跑 step-zero、parent smoke、wrapper smoke
+与 equivalence。修补后的 learned wrapper 实际执行 39 次 forward，父/包装器 15 组
+科学字段仍全部 exact。
+
+结果后 Grok 在只读 sandbox 中从 13 个 raw 与三个 historical references 独立复算
+identity、自哈希、selector、pairing、两项主指标、BPC、replay 与 `I67`。它报告
+`0 mismatch`、`blocking_errors=0`，确认 analyzer status 与 claim boundary。
+
+## 6. 最终 claim boundary
+
+可以说：在这一固定缩小协议内，联合 group 6+7 的 train-time uniform-forward
+architecture ablation 相对历史同 seed reference 达到预注册 attenuation + BPC 门控。
+
+不能说：
+
+- 已定位真实 Kimi-K3 的训练尖峰；
+- 已复现 K3 报告 Figure 5(c)；
+- 已把 forward、natural backward 与 optimizer update 分离成纯因果效应；
+- 已证明下游能力等价、总体统计显著性、可加性或因果 interaction。