wuyang
70 lines
3.3 KiB
Markdown
70 lines
3.3 KiB
Markdown
# Round 08 Grok Headless 对抗审阅与处置
|
||
|
||
审阅日期：2026-07-30
|
||
审阅会话：`019fb1ce-7ffa-70e3-b860-c4a31a4c6621`
|
||
身份：**外部模型的只读方法学审稿，不是论文证据源**
|
||
|
||
## 1. 调用边界
|
||
|
||
Grok CLI 使用 single/headless + plan permission 读取：
|
||
|
||
- `research/K3_ATTNRES_FORWARD_TRAINING_SCOPING.md`
|
||
- `research/K3_ATTNRES_FORWARD_TRAINING_PROTOCOL.md`
|
||
- `experiments/k3/attnres_forward/manifest.json`
|
||
- Round 04 / 05 父 runners
|
||
|
||
关闭 web search、禁止 subagents；它没有修改文件，也没有运行训练。
|
||
|
||
## 2. Blocking findings 与处置
|
||
|
||
| finding | 风险 | 处置 |
|
||
|---|---|---|
|
||
| `mean` 与父 `softmax+einsum` 的 FP32 归约顺序不保证 byte-exact | step-0 会假失败 | **采纳**：选中路径改成参数无关 constant-zero logits，并复用同一 `softmax+einsum` kernel |
|
||
| pairing 要求了父 JSON 不存在的 initial full hash，并把 GPU 名写成 exact | 科学身份正确却因 metadata 失败 | **采纳**：只 hard-gate 初始化、数据、拓扑、optimizer 与确定性/autocast 合同 |
|
||
| replay 只排除三个字段，path 会制造假差异 | exact replay 假失败 | **采纳**：冻结 scientific canonical payload 与 path normalization |
|
||
| wrapper 若把新 protocol ID 写入 `window_start` salt，会静默换数据 | 历史逐 seed 配对失效 | **采纳**：父 salt 只由父 manifest/runner 管，新 ID 只进 wrapper output |
|
||
| 主判定没有在协议正文再写 final-only | analyzer 可能误读六 checkpoints | **采纳**：主 attenuation 与 BPC 只读 step 8,000 |
|
||
| spike layer numbering 未 machine-readable 固定 | 可能整体平移一层 | **采纳**：manifest 新增 `spike_layers_1based`，协议钉死 Python index = layer−1 |
|
||
|
||
## 3. Non-blocking findings 与处置
|
||
|
||
全部采纳：
|
||
|
||
- selected 参数留在 AdamW param groups，但因 graph 不可达而没有 state entry，不能写成
|
||
“训练了但没动”；
|
||
- group 6 / 7 indices 与 source counts 经独立复算正确；
|
||
- reference 统一称 historical paired reference；
|
||
- layers 26–28 位于 contrast 分母 `R`，必须拆报 `mean(S)` / `mean(R)`；
|
||
- `I67` 明确是三次独立训练之间的 log residual；
|
||
- missing / non-finite / structural error 统一 `contract_failed`，不能冒充科学失败；
|
||
- wrapper 禁止改变 FP32 residual、AdamW grouping、parent salt 与 empty-selector path。
|
||
|
||
## 4. 算术复核
|
||
|
||
```text
|
||
8,000 × 32 × 256 = 65,536,000 bytes / cell
|
||
12 formal cells = 786,432,000 bytes
|
||
+ primary replay = 851,968,000 newly processed bytes
|
||
historical refs = 196,608,000 bytes（不重跑）
|
||
```
|
||
|
||
selector：
|
||
|
||
```text
|
||
group 6 = 40..47; source N = 6,7,7,7,7,7,7,7
|
||
group 7 = 48..55; source N = 7,8,8,8,8,8,8,8
|
||
group 7 MLP = 49,51,53,55
|
||
groups 6+7 = 40..55
|
||
```
|
||
|
||
主 attenuation 为 `3 seeds × {contrast, peak} = 6` cells；quality 为三个
|
||
per-seed BPC gates 加一个 mean gate，共 4 项。两者合取，且只读 final step。
|
||
|
||
## 5. 复核结论
|
||
|
||
Grok 判断研究身份、矩阵、source counts 与主公式骨架可以保留；主要风险来自浮点
|
||
arithmetic identity、wrapper salt、over-exact metadata 与层号歧义。以上项目已在任何
|
||
正式输出出现前全部修订，manifest 状态随后改为 `frozen-before-model-output`。
|
||
|
||
审稿意见不会进入实验结果、论文事实或官网证据等级；它只用于结果前强化协议。
|