research: publish AttnRes forward training study

research/K3_ATTNRES_FORWARD_TRAINING_AUDIT.md

@@ -0,0 +1,112 @@
+# Round 08 AttnRes 训练期前向干预：结果审计
+
+审计日期：2026-07-30  
+协议：`llm-atlas-k3-attnres-forward-training-v1`  
+结果后 Grok 会话：`019fb28b-a9e1-7643-8e43-06f5e16a2077`
+
+## 1. 一句话结论
+
+冻结 analyzer 的唯一主状态为：
+
+```text
+forward_training_attenuation_established_within_reduced_protocol
+```
+
+联合 `groups 6+7` 的训练期 uniform-forward 消融在三个预注册 seed 上同时通过
+`spike contrast` 与 `peak / mean` 的 20% attenuation 门；逐 seed 与三 seed 平均
+validation BPC 也全部通过质量护栏。结果后独立只读复算得到：
+
+```text
+blocking_errors = 0
+status_confirmed = true
+replay_confirmed = true
+```
+
+这只是在固定 depth-32 缩小 Block AttnRes、固定数据与 8,000-step 预算中的训练期
+架构消融；**不是真实 Kimi-K3 / 2.8T checkpoint 结果，也不是 Figure 5(c) 未公开
+telemetry 的复现。**
+
+## 2. 主门复算
+
+冻结定义：
+
+```text
+S = layers 21–25
+R = other 27 layers
+C = mean(g[S]) / mean(g[R])
+P = max(g) / mean(g)
+D = (X_reference - X_variant) / X_reference
+```
+
+主变体为 `uniform_groups_6_7_forward`，只读复算如下：
+
+| seed | C reference | C variant | C drop | P reference | P variant | P drop | ΔBPC |
+|---|---:|---:|---:|---:|---:|---:|---:|
+| 2026073001 | 3.046269 | 0.806011 | 73.54% | 3.219067 | 1.435618 | 55.40% | +0.005696 |
+| 2026073002 | 3.332848 | 0.758201 | 77.25% | 3.618924 | 1.375016 | 62.00% | +0.009598 |
+| 2026073003 | 1.881492 | 0.712882 | 62.11% | 2.288267 | 1.548141 | 32.34% | +0.004441 |
+
+因此 attenuation 为 `6/6`；最小 contrast drop 为 `62.11%`，最小 peak drop 为
+`32.34%`，都高于冻结的 `20%` 门槛。BPC 三格都低于 `+0.05`，平均
+`+0.006578` 低于 `+0.03`，质量门为 `4/4`。
+
+这里的 contrast 下降不等价于“尖峰层被关闭”：它可能由 spike-window 分子下降、
+27 层 reference 分母上升，或两者共同造成；被联合消融覆盖的 layers 26–28 仍属于
+这个分母。
+
+## 3. 完整性与复现
+
+- 13 个新 raw 文件完整：12 formal + 1 primary replay；
+- 每格 `65,536,000` target bytes，新处理总量 `851,968,000`；
+- 三个历史 paired reference 合计 `196,608,000` bytes，未在 Round 08 重跑；
+- 13/13 raw canonical self-hash、aggregate 与 reproduction self-hash 自洽；
+- architecture / depth / steps / batch 固定为 Block / 32 / 8,000 / 32；
+- initial public/mixer state、schedule、validation、diagnostic、input-gate、model、
+  optimizer 与 scientific environment 对同 seed historical reference 配对 exact；
+- primary seed 1 的 formal / replay scientific payload exact：
+  `b85563ca5cb53e60b39c3801d372376206105b8a089a8633b3e81973a7f0c051`。
+
+四个正式 selector 的 visit、source count、uniform arithmetic 与 reachability 均通过。
+被选 mixer 的 query / key norm 留在 optimizer param groups，但 forward 不再调用它们：
+gradient hook 为 0、Adam state 不存在、最终 tensor 与初始值 byte-exact。未选 mixer 的
+optimizer-state 检查是比科学协议更强的实现审计，不参与主 status。
+
+## 4. 描述性 non-additivity
+
+冻结的 bookkeeping residual 为：
+
+```text
+I67 = ln(Xref / X67) - ln(Xref / X6) - ln(Xref / X7)
+```
+
+step 8,000 的三 seed 平均为：
+
+- spike contrast：`-0.367038`
+- peak / mean：`-0.170448`
+
+它来自三套独立训练，只能描述 joint run 与两个 single runs 的 log-effect 残差；不能
+写成因果 interaction、Shapley contribution 或“group 6/7 互相抑制”的机制结论。
+
+## 5. 两阶段独立审阅
+
+结果前 Grok 实现审阅指出 smoke-only empty selector 的 visit census 可空真。正式
+4×3 路径全部是非空 selector，因此不影响 raw formal 数值；矩阵结束后已删除 early
+return、加入 `forward_calls > 0`，并重跑 step-zero、parent smoke、wrapper smoke
+与 equivalence。修补后的 learned wrapper 实际执行 39 次 forward，父/包装器 15 组
+科学字段仍全部 exact。
+
+结果后 Grok 在只读 sandbox 中从 13 个 raw 与三个 historical references 独立复算
+identity、自哈希、selector、pairing、两项主指标、BPC、replay 与 `I67`。它报告
+`0 mismatch`、`blocking_errors=0`，确认 analyzer status 与 claim boundary。
+
+## 6. 最终 claim boundary
+
+可以说：在这一固定缩小协议内，联合 group 6+7 的 train-time uniform-forward
+architecture ablation 相对历史同 seed reference 达到预注册 attenuation + BPC 门控。
+
+不能说：
+
+- 已定位真实 Kimi-K3 的训练尖峰；
+- 已复现 K3 报告 Figure 5(c)；
+- 已把 forward、natural backward 与 optimizer update 分离成纯因果效应；
+- 已证明下游能力等价、总体统计显著性、可加性或因果 interaction。

research/K3_ATTNRES_FORWARD_TRAINING_IMPLEMENTATION_REVIEW.md

@@ -0,0 +1,89 @@
+# Round 08 runner / analyzer 实现审阅与处置
+
+审阅日期：2026-07-30  
+Grok 会话：`019fb1f0-bb24-7202-8123-295edda7518f`  
+身份：**正式文件完成前的外部模型只读实现审计，不是结果或论文证据**
+
+## 1. 审阅边界
+
+Grok Headless 只读检查：
+
+- 冻结协议与 manifest；
+- `train.py` / `verify.py` / `analyze.py` / `run_matrix.py`；
+- 父 runner 的 salt、schema 与 DepthMixer 算术路径。
+
+明确禁止读取 Round 08 raw formal results、运行训练、修改文件、web search 与 subagents。
+
+## 2. 对正式 4×3 路径的确认
+
+审阅确认：
+
+- 新 protocol ID 没有进入父 `window_start` salt；
+- selected 路径用 constant-zero FP32 logits 和父 `softmax+einsum` kernel；
+- 非空 selector 的 query / key norm hook、AdamW state 与 final=initial gate 自洽；
+- historical pairing 比较的字段在父 JSON 中真实存在；
+- replay payload 正确排除 run kind、timing、path、parent self hash 与 GPU/version metadata，
+  同时保留模型、optimizer、diagnostics、history、selector 与 reachability；
+- analyzer 强制 4×3 identity、step 8,000 主判定、1-based layers 21–25、finite/positive、
+  `D=(ref-variant)/ref`、BPC `variant-ref` 与 descriptive `I67`；
+- 12 formal + 1 replay、65,536,000 bytes/cell 与最大两进程算术正确。
+
+没有发现会改变正在运行的四个非空 formal variants 数值语义的 blocking error。
+
+## 3. Blocking finding：smoke-only empty selector 的空审计
+
+`learned_reference` 直接调用父 `forward`，没有递增 wrapper 的 visit counters。因此：
+
+```text
+forward_calls = 0
+all depth/output visits = 0
+visit_gate = all(0 == 0) = true
+selected reachability = all([]) = true
+```
+
+这不会影响四个正式变体，它们全部是非空 selector；而 empty selector 另有 20-step
+parent-equivalence gate，模型/optimizer/evaluations/diagnostics/history/hash 已 exact。
+但 `forward_intervention.passed` 本身不能在修复前被当作 learned census 证据。
+
+处置：
+
+- formal matrix 完成后，删除 `selected_indices` 为空时的父路径 early return；
+- 让 empty selector 也走同一 copied forward，其中 `mix` 对 64 个节点逐个调用父
+  `DepthMixer.forward`；
+- 加入 `forward_calls > 0`；
+- 重跑 step-0、parent smoke、wrapper smoke 与 parent equivalence；
+- 只有 copied path 仍逐字段 exact 才保留。
+
+这项修复只强化 smoke audit，不更改任何正式 variant 的 selector 或 forward。
+
+## 4. Non-blocking findings 与处置
+
+| finding | 处置 |
+|---|---|
+| `smoke_compare` 整体比较 `manifest.path` | 规范化 path 后比较 scientific manifest fields |
+| unselected gate 额外要求 optimizer state | 保留为强实现 gate，但在文档中标成 protocol 之外的额外审计，不用于科学 status |
+| GPU/version 差异只有 `metadata_equal`，没有 warnings 数组 | aggregate 增加显式 metadata warnings |
+| `run_matrix` 失败后只 terminate、不 wait/kill，invalid file 会阻塞重跑 | 加入 terminate→wait→kill 清理，并在 cell failure 时标明 exact invalid target |
+| step-0 CE 只比较 Python float | 追加 scalar tensor SHA-256 |
+| `EXPECTED_SOURCE_COUNTS` 未使用 | 用于 runner↔manifest 交叉校验 |
+
+上述修订不读取结果、不改变冻结阈值或主公式。
+
+## 5. 矩阵结束后的处置结果
+
+13 个单元全部退出后才应用上述修订；四个正式非空 selector 的 raw 文件未被重写。
+修补后的前置闸门结果：
+
+- step-zero 五个 variant 的 logits、loss tensor、evaluation 与 diagnostic exact；
+- smoke-only learned wrapper 实际执行 `39` 次 forward，64 个 depth mixer 与
+  output mixer 的 visit census 全部非零且 exact；
+- parent 与 wrapper 的 architecture、seed、schedule、model、optimizer、hash、
+  evaluation、diagnostic、history、gradient gate 与 scientific environment 共
+  15 组字段全部 exact；
+- primary smoke 的 selected 参数仍为 0 hook、无 optimizer state、final=initial；
+- unselected optimizer-state 条件继续作为额外实现闸门，不进入科学 status。
+
+结果后 Grok 会话 `019fb28b-a9e1-7643-8e43-06f5e16a2077` 在只读 sandbox 中独立
+复算 13 个 raw、三个 historical references 与 aggregate，报告
+`blocking_errors=0`、`status_confirmed=true`、`replay_confirmed=true`。详细数字与
+claim boundary 见 `research/K3_ATTNRES_FORWARD_TRAINING_AUDIT.md`。