wuyang
113 lines
4.7 KiB
Markdown
113 lines
4.7 KiB
Markdown
# Round 08 AttnRes 训练期前向干预：结果审计
|
||
|
||
审计日期：2026-07-30
|
||
协议：`llm-atlas-k3-attnres-forward-training-v1`
|
||
结果后 Grok 会话：`019fb28b-a9e1-7643-8e43-06f5e16a2077`
|
||
|
||
## 1. 一句话结论
|
||
|
||
冻结 analyzer 的唯一主状态为：
|
||
|
||
```text
|
||
forward_training_attenuation_established_within_reduced_protocol
|
||
```
|
||
|
||
联合 `groups 6+7` 的训练期 uniform-forward 消融在三个预注册 seed 上同时通过
|
||
`spike contrast` 与 `peak / mean` 的 20% attenuation 门；逐 seed 与三 seed 平均
|
||
validation BPC 也全部通过质量护栏。结果后独立只读复算得到：
|
||
|
||
```text
|
||
blocking_errors = 0
|
||
status_confirmed = true
|
||
replay_confirmed = true
|
||
```
|
||
|
||
这只是在固定 depth-32 缩小 Block AttnRes、固定数据与 8,000-step 预算中的训练期
|
||
架构消融；**不是真实 Kimi-K3 / 2.8T checkpoint 结果，也不是 Figure 5(c) 未公开
|
||
telemetry 的复现。**
|
||
|
||
## 2. 主门复算
|
||
|
||
冻结定义：
|
||
|
||
```text
|
||
S = layers 21–25
|
||
R = other 27 layers
|
||
C = mean(g[S]) / mean(g[R])
|
||
P = max(g) / mean(g)
|
||
D = (X_reference - X_variant) / X_reference
|
||
```
|
||
|
||
主变体为 `uniform_groups_6_7_forward`，只读复算如下：
|
||
|
||
| seed | C reference | C variant | C drop | P reference | P variant | P drop | ΔBPC |
|
||
|---|---:|---:|---:|---:|---:|---:|---:|
|
||
| 2026073001 | 3.046269 | 0.806011 | 73.54% | 3.219067 | 1.435618 | 55.40% | +0.005696 |
|
||
| 2026073002 | 3.332848 | 0.758201 | 77.25% | 3.618924 | 1.375016 | 62.00% | +0.009598 |
|
||
| 2026073003 | 1.881492 | 0.712882 | 62.11% | 2.288267 | 1.548141 | 32.34% | +0.004441 |
|
||
|
||
因此 attenuation 为 `6/6`；最小 contrast drop 为 `62.11%`，最小 peak drop 为
|
||
`32.34%`，都高于冻结的 `20%` 门槛。BPC 三格都低于 `+0.05`，平均
|
||
`+0.006578` 低于 `+0.03`，质量门为 `4/4`。
|
||
|
||
这里的 contrast 下降不等价于“尖峰层被关闭”：它可能由 spike-window 分子下降、
|
||
27 层 reference 分母上升，或两者共同造成；被联合消融覆盖的 layers 26–28 仍属于
|
||
这个分母。
|
||
|
||
## 3. 完整性与复现
|
||
|
||
- 13 个新 raw 文件完整：12 formal + 1 primary replay；
|
||
- 每格 `65,536,000` target bytes，新处理总量 `851,968,000`；
|
||
- 三个历史 paired reference 合计 `196,608,000` bytes，未在 Round 08 重跑；
|
||
- 13/13 raw canonical self-hash、aggregate 与 reproduction self-hash 自洽；
|
||
- architecture / depth / steps / batch 固定为 Block / 32 / 8,000 / 32；
|
||
- initial public/mixer state、schedule、validation、diagnostic、input-gate、model、
|
||
optimizer 与 scientific environment 对同 seed historical reference 配对 exact；
|
||
- primary seed 1 的 formal / replay scientific payload exact：
|
||
`b85563ca5cb53e60b39c3801d372376206105b8a089a8633b3e81973a7f0c051`。
|
||
|
||
四个正式 selector 的 visit、source count、uniform arithmetic 与 reachability 均通过。
|
||
被选 mixer 的 query / key norm 留在 optimizer param groups，但 forward 不再调用它们：
|
||
gradient hook 为 0、Adam state 不存在、最终 tensor 与初始值 byte-exact。未选 mixer 的
|
||
optimizer-state 检查是比科学协议更强的实现审计，不参与主 status。
|
||
|
||
## 4. 描述性 non-additivity
|
||
|
||
冻结的 bookkeeping residual 为：
|
||
|
||
```text
|
||
I67 = ln(Xref / X67) - ln(Xref / X6) - ln(Xref / X7)
|
||
```
|
||
|
||
step 8,000 的三 seed 平均为：
|
||
|
||
- spike contrast：`-0.367038`
|
||
- peak / mean：`-0.170448`
|
||
|
||
它来自三套独立训练，只能描述 joint run 与两个 single runs 的 log-effect 残差；不能
|
||
写成因果 interaction、Shapley contribution 或“group 6/7 互相抑制”的机制结论。
|
||
|
||
## 5. 两阶段独立审阅
|
||
|
||
结果前 Grok 实现审阅指出 smoke-only empty selector 的 visit census 可空真。正式
|
||
4×3 路径全部是非空 selector，因此不影响 raw formal 数值；矩阵结束后已删除 early
|
||
return、加入 `forward_calls > 0`，并重跑 step-zero、parent smoke、wrapper smoke
|
||
与 equivalence。修补后的 learned wrapper 实际执行 39 次 forward，父/包装器 15 组
|
||
科学字段仍全部 exact。
|
||
|
||
结果后 Grok 在只读 sandbox 中从 13 个 raw 与三个 historical references 独立复算
|
||
identity、自哈希、selector、pairing、两项主指标、BPC、replay 与 `I67`。它报告
|
||
`0 mismatch`、`blocking_errors=0`，确认 analyzer status 与 claim boundary。
|
||
|
||
## 6. 最终 claim boundary
|
||
|
||
可以说：在这一固定缩小协议内，联合 group 6+7 的 train-time uniform-forward
|
||
architecture ablation 相对历史同 seed reference 达到预注册 attenuation + BPC 门控。
|
||
|
||
不能说：
|
||
|
||
- 已定位真实 Kimi-K3 的训练尖峰；
|
||
- 已复现 K3 报告 Figure 5(c)；
|
||
- 已把 forward、natural backward 与 optimizer update 分离成纯因果效应；
|
||
- 已证明下游能力等价、总体统计显著性、可加性或因果 interaction。
|