wuyang
196 lines
7.4 KiB
Markdown
196 lines
7.4 KiB
Markdown
# K3 Attention Residuals 训练期前向干预：Round 08 前置定位
|
||
|
||
研究日期：2026-07-30
|
||
阶段身份：**Round 07 后的定向 scoping，不是 Round 08 结果**
|
||
上游协议：`llm-atlas-k3-attnres-local-path-v1`
|
||
|
||
## 1. 为什么还需要一次训练期实验
|
||
|
||
Round 06 / 07 都保持 learned forward 完全不变，只在固定 diagnostic 的 backward 中
|
||
替换 source value coefficients。它们回答的是：
|
||
|
||
- 全部 65 个 mixer 的 uniform value backward 能不能压低固定尖峰；
|
||
- group 6 / 7 的 16 个 depth mixer 在 learned 背景上是否足以复现全局下降；
|
||
- 从 all-uniform 背景恢复这些 mixer 是否能反向恢复尖峰。
|
||
|
||
Round 07 的正式结论是：
|
||
|
||
```text
|
||
groups 6+7 sufficiency：6 / 6 seed×metric cells 通过
|
||
groups 6+7 restoration：3 / 6 cells 通过
|
||
formal status：one_sided_evidence_localization_not_established
|
||
```
|
||
|
||
这已经足以排除“局部 mask 完全没有反应”，但还不能回答：
|
||
|
||
> 如果训练的每一次 forward 都真的把这段 depth routing 改成算术平均，模型会怎样适应？
|
||
|
||
Round 08 把 intervention 放进 optimizer path。它不再追求 forward-identical，而是让
|
||
选中 mixer 的输出在训练、验证与诊断中始终为所有 source states 的等权平均。
|
||
|
||
## 2. 这不是“只改变 forward”
|
||
|
||
选中 mixer 的 learned 路径原本是：
|
||
|
||
```text
|
||
keys = RMSNorm(sources)
|
||
logits = query · keys
|
||
weights = softmax(logits over source-depth)
|
||
output = Σ weights_i × source_i
|
||
```
|
||
|
||
Round 08 的选中路径是：
|
||
|
||
```text
|
||
output = (1 / N) × Σ source_i
|
||
```
|
||
|
||
因此 intervention 同时改变：
|
||
|
||
1. forward 的 branch input；
|
||
2. 由新 forward 自然产生的 source gradients；
|
||
3. 下游 activation、loss 与所有后续 optimizer updates；
|
||
4. 选中 mixer 的参数可达性：`query` 与 `key_norm.weight` 不参与图，不得到梯度。
|
||
|
||
这是一项**训练期架构消融**，不是“只改变 forward、不改变 backward”的可分离因果实验。
|
||
结果不能被翻译成 query/key 路径的纯因果效应。
|
||
|
||
## 3. 为什么只选四个新变体
|
||
|
||
固定 depth-32 / Block AttnRes 拓扑：
|
||
|
||
| scope | layers | 0-based depth mixer indices | count |
|
||
|---|---:|---:|---:|
|
||
| group 6 | 21–24 | 40–47 | 8 |
|
||
| group 7 | 25–28 | 48–55 | 8 |
|
||
| groups 6+7 | 21–28 | 40–55 | 16 |
|
||
| group 7 MLP | 25–28 | 49, 51, 53, 55 | 4 |
|
||
|
||
四个新训练变体固定为：
|
||
|
||
1. `uniform_group_6_forward`
|
||
2. `uniform_group_7_forward`
|
||
3. `uniform_groups_6_7_forward`（主变体）
|
||
4. `uniform_group_7_mlp_forward`
|
||
|
||
选择依据不是 Round 08 结果：
|
||
|
||
- joint 6+7 是 Round 07 的固定主 scope；
|
||
- 单 group 6 / 7 用来构成交互图；
|
||
- group 7 MLP-only 是 Round 07 的 branch-level 次级线索；
|
||
- output mixer 保持 learned，避免把 local depth intervention 扩成全局 readout 改写。
|
||
|
||
不加入 attention-only、output-only、all-depth 或 all-65，是为了把本轮正式算力集中在
|
||
“局部训练适应”而不是重新展开 14-mode backward census。
|
||
|
||
## 4. 冻结参考，而不是重新挑基线
|
||
|
||
paired learned reference 复用 Round 05 已公开的三个：
|
||
|
||
```text
|
||
formal / depth-32 / block / seeds 2026073001..3
|
||
```
|
||
|
||
它们与新变体使用相同：
|
||
|
||
- 初始化过程；
|
||
- 8,000-step deterministic byte schedule；
|
||
- 64 validation windows；
|
||
- 16 diagnostic windows；
|
||
- optimizer、LR schedule、BF16 forward 和 FP32 residual accumulation；
|
||
- 六个 diagnostic checkpoints。
|
||
|
||
runner 的 `learned_reference` smoke mode 必须逐字段复现父 runner 数值。正式 analyzer
|
||
还必须验证新旧 cell 的 initial public/mixer hashes、输入 gate tensor hashes、
|
||
validation tensor hash、diagnostic tensor hash 与 deterministic / autocast 数值合同。
|
||
GPU 名称、驱动 minor 与 timing 只记录，不作为配对 hard gate。
|
||
|
||
复用参考的意义是避免为已冻结、可复现的三格再消耗 196,608,000 target bytes。报告必须
|
||
把它写成**历史配对参考**，不能写成同期随机对照。
|
||
|
||
## 5. 主问题与质量护栏
|
||
|
||
主对象沿用 Round 05–07，并且主判定只读取最终 step 8,000：
|
||
|
||
```text
|
||
step = 8,000
|
||
position = post-MLP Transformer-block output
|
||
reduction = activation-gradient element RMS
|
||
S = layers 21–25
|
||
R = other 27 layers
|
||
C = mean(g[S]) / mean(g[R])
|
||
P = max(g) / mean(g)
|
||
```
|
||
|
||
对变体 `v` 和同 seed learned reference：
|
||
|
||
```text
|
||
D_X(v) = (X_ref - X_v) / X_ref
|
||
```
|
||
|
||
主变体 `uniform_groups_6_7_forward` 只有在：
|
||
|
||
- `C` 与 `P` 的 `D_X ≥ 0.20`；
|
||
- 三个 seed 的六个 cell 全部通过；
|
||
- 每个 seed 的 final validation BPC 相对 reference 不劣化超过 `+0.05`；
|
||
- 三 seed mean BPC delta 不超过 `+0.03`；
|
||
|
||
时才得到 “forward-training attenuation established within reduced protocol”。
|
||
|
||
质量阈值在结果前固定。它不是“能力保持”的通用标准，只用于阻止把明显训练失败造成的
|
||
梯度塌缩计成正结果。即使通过，也不能推出下游能力等价。
|
||
|
||
## 6. 非加性局部交互图
|
||
|
||
对每个 seed、checkpoint 和指标：
|
||
|
||
```text
|
||
E6 = ln(X_ref / X_group6)
|
||
E7 = ln(X_ref / X_group7)
|
||
E67 = ln(X_ref / X_groups6+7)
|
||
I67 = E67 - E6 - E7
|
||
```
|
||
|
||
- `I67 > 0`：joint log attenuation 大于两个 single effects 的和；
|
||
- `I67 < 0`：joint log attenuation 小于两个 single effects 的和；
|
||
- `I67 = 0`：只是在这个定义下恰好 log-additive。
|
||
|
||
`I67` 没有预注册显著性阈值，不是 Shapley value、方差分解、独立性检验或因果交互估计。
|
||
三个 effect 来自三套独立训练，它只是跨 run 的 log-attenuation residual。它的用途是把
|
||
训练轨迹中的补偿/放大关系画清楚，而不是制造一个新的“通过/失败”结论。
|
||
|
||
groups 6+7 覆盖 layers 21–28，而固定尖峰窗只到 layer 25；layers 26–28 落在 `R`。
|
||
所以 `C` 的变化可能同时来自 `S` 下降与 `R` 上升。正式结果必须把两者拆开报告，不能把
|
||
contrast 下降单独翻译成“尖峰层被关闭”。
|
||
|
||
## 7. 真实 K3 checkpoint 的同期边界
|
||
|
||
截至本轮预检，官方 Kimi-K3 Hugging Face main 仍停在 revision
|
||
`9f62e4e9fffbd0a83ddd60e1c209d828994b3569`，remote code 仍按 96 heads 初始化
|
||
`A_log`，公开 checkpoint header 仍为 `[128]`。社区 PR #144 / #150 仍是两个未合并、
|
||
语义不同的候选修复；没有官方裁决。
|
||
|
||
所以本轮不下载约 1.56 TB 权重，不声称对真实 K3 forward 做了验证。缩小实验只继承
|
||
Block AttnRes 的拓扑动机，不是 K3 checkpoint 的数值替身。
|
||
|
||
一手状态页：
|
||
|
||
- [Kimi-K3 official main](https://huggingface.co/moonshotai/Kimi-K3/tree/main)
|
||
- [main `modeling_kimi_linear.py`](https://huggingface.co/moonshotai/Kimi-K3/blob/main/modeling_kimi_linear.py)
|
||
- [community PR #144](https://huggingface.co/moonshotai/Kimi-K3/discussions/144)
|
||
- [community PR #150](https://huggingface.co/moonshotai/Kimi-K3/discussions/150)
|
||
|
||
## 8. 本轮可证伪交付
|
||
|
||
Round 08 将在查看正式结果前完成：
|
||
|
||
1. 冻结协议与 machine-readable manifest；
|
||
2. 实现一个 selector，而不是四份分叉 forward；
|
||
3. 通过 empty-selector 父等价、step-0 uniform identity、selector census、参数不可达性、
|
||
loss-scale 与输入 hash 闸门；
|
||
4. 运行 4 variants × 3 seeds × 8,000 steps；
|
||
5. 从初始化 replay 主变体 seed 2026073001；
|
||
6. 由单一 analyzer 生成主判定、质量闸门、轨迹与非加性交互；
|
||
7. 独立审阅机器可读结果；
|
||
8. 以五视图交互实验接入网站、开源并发布。
|