3.3 KiB
3.3 KiB
Round 08 Grok Headless 对抗审阅与处置
审阅日期:2026-07-30
审阅会话:019fb1ce-7ffa-70e3-b860-c4a31a4c6621
身份:外部模型的只读方法学审稿,不是论文证据源
1. 调用边界
Grok CLI 使用 single/headless + plan permission 读取:
research/K3_ATTNRES_FORWARD_TRAINING_SCOPING.mdresearch/K3_ATTNRES_FORWARD_TRAINING_PROTOCOL.mdexperiments/k3/attnres_forward/manifest.json- Round 04 / 05 父 runners
关闭 web search、禁止 subagents;它没有修改文件,也没有运行训练。
2. Blocking findings 与处置
| finding | 风险 | 处置 |
|---|---|---|
mean 与父 softmax+einsum 的 FP32 归约顺序不保证 byte-exact |
step-0 会假失败 | 采纳:选中路径改成参数无关 constant-zero logits,并复用同一 softmax+einsum kernel |
| pairing 要求了父 JSON 不存在的 initial full hash,并把 GPU 名写成 exact | 科学身份正确却因 metadata 失败 | 采纳:只 hard-gate 初始化、数据、拓扑、optimizer 与确定性/autocast 合同 |
| replay 只排除三个字段,path 会制造假差异 | exact replay 假失败 | 采纳:冻结 scientific canonical payload 与 path normalization |
wrapper 若把新 protocol ID 写入 window_start salt,会静默换数据 |
历史逐 seed 配对失效 | 采纳:父 salt 只由父 manifest/runner 管,新 ID 只进 wrapper output |
| 主判定没有在协议正文再写 final-only | analyzer 可能误读六 checkpoints | 采纳:主 attenuation 与 BPC 只读 step 8,000 |
| spike layer numbering 未 machine-readable 固定 | 可能整体平移一层 | 采纳:manifest 新增 spike_layers_1based,协议钉死 Python index = layer−1 |
3. Non-blocking findings 与处置
全部采纳:
- selected 参数留在 AdamW param groups,但因 graph 不可达而没有 state entry,不能写成 “训练了但没动”;
- group 6 / 7 indices 与 source counts 经独立复算正确;
- reference 统一称 historical paired reference;
- layers 26–28 位于 contrast 分母
R,必须拆报mean(S)/mean(R); I67明确是三次独立训练之间的 log residual;- missing / non-finite / structural error 统一
contract_failed,不能冒充科学失败; - wrapper 禁止改变 FP32 residual、AdamW grouping、parent salt 与 empty-selector path。
4. 算术复核
8,000 × 32 × 256 = 65,536,000 bytes / cell
12 formal cells = 786,432,000 bytes
+ primary replay = 851,968,000 newly processed bytes
historical refs = 196,608,000 bytes(不重跑)
selector:
group 6 = 40..47; source N = 6,7,7,7,7,7,7,7
group 7 = 48..55; source N = 7,8,8,8,8,8,8,8
group 7 MLP = 49,51,53,55
groups 6+7 = 40..55
主 attenuation 为 3 seeds × {contrast, peak} = 6 cells;quality 为三个
per-seed BPC gates 加一个 mean gate,共 4 项。两者合取,且只读 final step。
5. 复核结论
Grok 判断研究身份、矩阵、source counts 与主公式骨架可以保留;主要风险来自浮点
arithmetic identity、wrapper salt、over-exact metadata 与层号歧义。以上项目已在任何
正式输出出现前全部修订,manifest 状态随后改为 frozen-before-model-output。
审稿意见不会进入实验结果、论文事实或官网证据等级;它只用于结果前强化协议。