Round 08 AttnRes 训练期前向干预：结果审计

审计日期：2026-07-30
协议：llm-atlas-k3-attnres-forward-training-v1
结果后 Grok 会话：019fb28b-a9e1-7643-8e43-06f5e16a2077

1. 一句话结论

冻结 analyzer 的唯一主状态为：

forward_training_attenuation_established_within_reduced_protocol

联合 groups 6+7 的训练期 uniform-forward 消融在三个预注册 seed 上同时通过 spike contrast 与 peak / mean 的 20% attenuation 门；逐 seed 与三 seed 平均 validation BPC 也全部通过质量护栏。结果后独立只读复算得到：

blocking_errors = 0
status_confirmed = true
replay_confirmed = true

这只是在固定 depth-32 缩小 Block AttnRes、固定数据与 8,000-step 预算中的训练期架构消融；不是真实 Kimi-K3 / 2.8T checkpoint 结果，也不是 Figure 5(c) 未公开 telemetry 的复现。

2. 主门复算

冻结定义：

S = layers 21–25
R = other 27 layers
C = mean(g[S]) / mean(g[R])
P = max(g) / mean(g)
D = (X_reference - X_variant) / X_reference

主变体为 uniform_groups_6_7_forward，只读复算如下：

seed	C reference	C variant	C drop	P reference	P variant	P drop	ΔBPC
2026073001	3.046269	0.806011	73.54%	3.219067	1.435618	55.40%	+0.005696
2026073002	3.332848	0.758201	77.25%	3.618924	1.375016	62.00%	+0.009598
2026073003	1.881492	0.712882	62.11%	2.288267	1.548141	32.34%	+0.004441

因此 attenuation 为 6/6；最小 contrast drop 为 62.11%，最小 peak drop 为 32.34%，都高于冻结的 20% 门槛。BPC 三格都低于 +0.05，平均 +0.006578 低于 +0.03，质量门为 4/4。

这里的 contrast 下降不等价于“尖峰层被关闭”：它可能由 spike-window 分子下降、 27 层 reference 分母上升，或两者共同造成；被联合消融覆盖的 layers 26–28 仍属于这个分母。

3. 完整性与复现

13 个新 raw 文件完整：12 formal + 1 primary replay；
每格 65,536,000 target bytes，新处理总量 851,968,000；
三个历史 paired reference 合计 196,608,000 bytes，未在 Round 08 重跑；
13/13 raw canonical self-hash、aggregate 与 reproduction self-hash 自洽；
architecture / depth / steps / batch 固定为 Block / 32 / 8,000 / 32；
initial public/mixer state、schedule、validation、diagnostic、input-gate、model、 optimizer 与 scientific environment 对同 seed historical reference 配对 exact；
primary seed 1 的 formal / replay scientific payload exact： b85563ca5cb53e60b39c3801d372376206105b8a089a8633b3e81973a7f0c051。

四个正式 selector 的 visit、source count、uniform arithmetic 与 reachability 均通过。被选 mixer 的 query / key norm 留在 optimizer param groups，但 forward 不再调用它们： gradient hook 为 0、Adam state 不存在、最终 tensor 与初始值 byte-exact。未选 mixer 的 optimizer-state 检查是比科学协议更强的实现审计，不参与主 status。

4. 描述性 non-additivity

冻结的 bookkeeping residual 为：

I67 = ln(Xref / X67) - ln(Xref / X6) - ln(Xref / X7)

step 8,000 的三 seed 平均为：

spike contrast：-0.367038
peak / mean：-0.170448

它来自三套独立训练，只能描述 joint run 与两个 single runs 的 log-effect 残差；不能写成因果 interaction、Shapley contribution 或“group 6/7 互相抑制”的机制结论。

5. 两阶段独立审阅

结果前 Grok 实现审阅指出 smoke-only empty selector 的 visit census 可空真。正式 4×3 路径全部是非空 selector，因此不影响 raw formal 数值；矩阵结束后已删除 early return、加入 forward_calls > 0，并重跑 step-zero、parent smoke、wrapper smoke 与 equivalence。修补后的 learned wrapper 实际执行 39 次 forward，父/包装器 15 组科学字段仍全部 exact。

结果后 Grok 在只读 sandbox 中从 13 个 raw 与三个 historical references 独立复算 identity、自哈希、selector、pairing、两项主指标、BPC、replay 与 I67。它报告 0 mismatch、blocking_errors=0，确认 analyzer status 与 claim boundary。

6. 最终 claim boundary

可以说：在这一固定缩小协议内，联合 group 6+7 的 train-time uniform-forward architecture ablation 相对历史同 seed reference 达到预注册 attenuation + BPC 门控。

不能说：

已定位真实 Kimi-K3 的训练尖峰；
已复现 K3 报告 Figure 5(c)；
已把 forward、natural backward 与 optimizer update 分离成纯因果效应；
已证明下游能力等价、总体统计显著性、可加性或因果 interaction。

4.7 KiB Raw Permalink Blame History Unescape Escape