research: preregister AttnRes forward training study

2026-07-30 15:03:31 +08:00
parent badf498598
commit d81aacfc68
4 changed files with 740 additions and 0 deletions
@@ -0,0 +1,69 @@
+# Round 08 Grok Headless 对抗审阅与处置
+
+审阅日期：2026-07-30  
+审阅会话：`019fb1ce-7ffa-70e3-b860-c4a31a4c6621`  
+身份：**外部模型的只读方法学审稿，不是论文证据源**
+
+## 1. 调用边界
+
+Grok CLI 使用 single/headless + plan permission 读取：
+
+- `research/K3_ATTNRES_FORWARD_TRAINING_SCOPING.md`
+- `research/K3_ATTNRES_FORWARD_TRAINING_PROTOCOL.md`
+- `experiments/k3/attnres_forward/manifest.json`
+- Round 04 / 05 父 runners
+
+关闭 web search、禁止 subagents；它没有修改文件，也没有运行训练。
+
+## 2. Blocking findings 与处置
+
+| finding | 风险 | 处置 |
+|---|---|---|
+| `mean` 与父 `softmax+einsum` 的 FP32 归约顺序不保证 byte-exact | step-0 会假失败 | **采纳**：选中路径改成参数无关 constant-zero logits，并复用同一 `softmax+einsum` kernel |
+| pairing 要求了父 JSON 不存在的 initial full hash，并把 GPU 名写成 exact | 科学身份正确却因 metadata 失败 | **采纳**：只 hard-gate 初始化、数据、拓扑、optimizer 与确定性/autocast 合同 |
+| replay 只排除三个字段，path 会制造假差异 | exact replay 假失败 | **采纳**：冻结 scientific canonical payload 与 path normalization |
+| wrapper 若把新 protocol ID 写入 `window_start` salt，会静默换数据 | 历史逐 seed 配对失效 | **采纳**：父 salt 只由父 manifest/runner 管，新 ID 只进 wrapper output |
+| 主判定没有在协议正文再写 final-only | analyzer 可能误读六 checkpoints | **采纳**：主 attenuation 与 BPC 只读 step 8,000 |
+| spike layer numbering 未 machine-readable 固定 | 可能整体平移一层 | **采纳**：manifest 新增 `spike_layers_1based`，协议钉死 Python index = layer−1 |
+
+## 3. Non-blocking findings 与处置
+
+全部采纳：
+
+- selected 参数留在 AdamW param groups，但因 graph 不可达而没有 state entry，不能写成
+  “训练了但没动”；
+- group 6 / 7 indices 与 source counts 经独立复算正确；
+- reference 统一称 historical paired reference；
+- layers 26–28 位于 contrast 分母 `R`，必须拆报 `mean(S)` / `mean(R)`；
+- `I67` 明确是三次独立训练之间的 log residual；
+- missing / non-finite / structural error 统一 `contract_failed`，不能冒充科学失败；
+- wrapper 禁止改变 FP32 residual、AdamW grouping、parent salt 与 empty-selector path。
+
+## 4. 算术复核
+
+```text
+8,000 × 32 × 256 = 65,536,000 bytes / cell
+12 formal cells   = 786,432,000 bytes
+ primary replay  = 851,968,000 newly processed bytes
+historical refs   = 196,608,000 bytes（不重跑）
+```
+
+selector：
+
+```text
+group 6       = 40..47; source N = 6,7,7,7,7,7,7,7
+group 7       = 48..55; source N = 7,8,8,8,8,8,8,8
+group 7 MLP   = 49,51,53,55
+groups 6+7    = 40..55
+```
+
+主 attenuation 为 `3 seeds × {contrast, peak} = 6` cells；quality 为三个
+per-seed BPC gates 加一个 mean gate，共 4 项。两者合取，且只读 final step。
+
+## 5. 复核结论
+
+Grok 判断研究身份、矩阵、source counts 与主公式骨架可以保留；主要风险来自浮点
+arithmetic identity、wrapper salt、over-exact metadata 与层号歧义。以上项目已在任何
+正式输出出现前全部修订，manifest 状态随后改为 `frozen-before-model-output`。
+
+审稿意见不会进入实验结果、论文事实或官网证据等级；它只用于结果前强化协议。