wuyang
198 lines
7.9 KiB
Markdown
198 lines
7.9 KiB
Markdown
# K3 Attention Residuals 局部 mixer 路径：Round 07 前置定位
|
||
|
||
研究日期：2026-07-30
|
||
阶段身份：**定向 scoping，不是 Round 07 预注册结果**
|
||
上游协议：`llm-atlas-k3-attnres-spike-path-v1`
|
||
|
||
## 1. 已知到什么程度
|
||
|
||
Round 06 在同一个 depth-32 / Block AttnRes 缩小模型上，把前向保持为 learned
|
||
weights，只改写 mixer 的反向规则。三 seed 的最终 `post_mlp_state / element_rms`
|
||
结果为：
|
||
|
||
| backward rule | spike contrast（3-seed mean） | 相对 detached learned | peak normalized（3-seed mean） | 相对 detached learned |
|
||
|---|---:|---:|---:|---:|
|
||
| learned | 2.754 | — | 4.803 | — |
|
||
| detached learned | 2.812 | reference | 4.956 | reference |
|
||
| uniform value / all 65 mixers | 0.837 | **−70.2%** | 3.122 | **−37.0%** |
|
||
|
||
其中：
|
||
|
||
- `learned → detached learned` 没有降低尖峰，contrast 反而平均增加约 2.0%；
|
||
- `detached learned → uniform value backward` 在 contrast 和 peak 上都 3 / 3 seed
|
||
超过预注册的 20% material threshold；
|
||
- 三种模式的 logits、loss、六位置 activation 和 mixer forward 摘要全部 exact；
|
||
- 这证明的是**全局 backward-rule sensitivity**，不是训练变体，也不是局部归因。
|
||
|
||
因此 Round 07 不再重复问“learned value coefficients 是否重要”，而是问：
|
||
|
||
> 65 个 mixer 全局改写带来的下降，主要能否由尖峰邻近的 group 6 / 7
|
||
> depth mixers 复现，并能否从反方向恢复？
|
||
|
||
## 2. 固定拓扑，而不是结果后挑层
|
||
|
||
depth 32 的 Block AttnRes 有 8 个 aggregation groups，每组 4 个 Transformer
|
||
blocks。每层有 attention 和 MLP 两个 depth mixers，合计 64 个；模型末尾还有一个
|
||
独立 output mixer，合计 65 个 intervention nodes。
|
||
|
||
对 1-based layer `l`：
|
||
|
||
```text
|
||
group = floor((l - 1) / 4) + 1
|
||
attention mixer index = 2 × (l - 1) # 0-based
|
||
MLP mixer index = 2 × (l - 1) + 1 # 0-based
|
||
```
|
||
|
||
所以：
|
||
|
||
| scope | layers | 0-based depth mixer indices | mixer count |
|
||
|---|---:|---:|---:|
|
||
| group 6 | 21–24 | 40–47 | 8 |
|
||
| group 7 | 25–28 | 48–55 | 8 |
|
||
| groups 6+7 | 21–28 | 40–55 | 16 |
|
||
| output | — | separate node | 1 |
|
||
|
||
Round 05 已在看过数据后冻结尖峰集合 `S = layers 21–25`。它覆盖完整 group 6 和
|
||
group 7 的首层。因此 Round 07 明确是**定向邻域追踪**，不能称为盲发现；group 6 / 7
|
||
也不能结果后替换成更好看的范围。
|
||
|
||
## 3. 为什么需要两个方向
|
||
|
||
只在 learned 背景把 group 6 / 7 改成 uniform，回答的是：
|
||
|
||
> 只改这段是否足以复现全局干预的一大部分下降？
|
||
|
||
但 mixer 路径有串联、分流和 nonlinear interaction，单侧结果可能被其他 learned
|
||
路径补偿。反过来，在 all-uniform 背景只把 group 6 / 7 恢复为 learned，回答的是：
|
||
|
||
> 只恢复这段是否足以让尖峰朝 reference 回升？
|
||
|
||
两种值都不是“贡献百分比”，也不要求相加为 100%。Round 07 用相同的 global log gap
|
||
归一化两种方向，只把双向、跨 seed 稳定的结果称为 localization evidence。
|
||
|
||
## 4. 冻结候选范围
|
||
|
||
从 `detached_learned` 背景出发的 sufficiency scopes：
|
||
|
||
1. group 6；
|
||
2. group 7；
|
||
3. groups 6+7；
|
||
4. group 6 attention-only；
|
||
5. group 6 MLP-only；
|
||
6. group 7 attention-only；
|
||
7. group 7 MLP-only；
|
||
8. output-only；
|
||
9. all 64 depth mixers；
|
||
10. all 65 mixers。
|
||
|
||
从 all-uniform 背景出发的 restoration scopes：
|
||
|
||
1. restore group 6 to detached-learned value coefficients；
|
||
2. restore group 7 to detached-learned value coefficients；
|
||
3. restore groups 6+7 to detached-learned value coefficients。
|
||
|
||
加上 `detached_learned` reference，共 14 种模式。预期 uniform selector census 为：
|
||
|
||
| mode | uniform mixers |
|
||
|---|---:|
|
||
| detached reference | 0 |
|
||
| group branch only | 4 |
|
||
| group only | 8 |
|
||
| groups 6+7 | 16 |
|
||
| output only | 1 |
|
||
| all depth | 64 |
|
||
| all | 65 |
|
||
| uniform except group 6 / 7 | 57 |
|
||
| uniform except groups 6+7 | 49 |
|
||
|
||
每次 diagnostic 都必须保存实际选中的 mixer identity；不能只信 mode 名称。
|
||
group 7 的 scope 包含 layers 26–28，它们不在固定尖峰集合 `S=21–25` 中，所以
|
||
group 7 是预先定义的**完整邻接 group intervention**，不是 spike-layer-only
|
||
intervention。
|
||
|
||
## 5. 不把局部 intervention 误译成什么
|
||
|
||
即使 groups 6+7 双向通过，结论也只限于：
|
||
|
||
- 固定训练状态；
|
||
- 固定 diagnostic batch 与 loss；
|
||
- 固定 `S = 21–25` 指标；
|
||
- 同前向、替代 source-gradient coefficient 的 diagnostic backward。
|
||
|
||
它不等于：
|
||
|
||
- 这些层“产生”了尖峰；
|
||
- group 6 / 7 是唯一原因；
|
||
- 真实 K3 checkpoint 有相同梯度路径；
|
||
- 把 mixer 训练成 uniform 会有同样结果；
|
||
- 局部 effect 可加，或可解释成方差分解；
|
||
- 论文 Figure 5(c) 的未公开 telemetry 已被复现。
|
||
|
||
保留 output-only 和 all-depth 两个控制，是为了看清最终 readout 与 depth path 的关系；
|
||
它们不进入 group 6 / 7 localization 的主判定。
|
||
|
||
## 6. 同期 artifact 状态审计：`A_log`
|
||
|
||
这一问题与缩小实验的局部梯度机制**相互独立**，但会限制任何真实 K3 checkpoint
|
||
验证，因此在冻结 Round 07 前重新检查官方模型仓库。
|
||
|
||
截至 **2026-07-30 12:35 CST**：
|
||
|
||
- 官方 Hugging Face main commit 仍为
|
||
`9f62e4e9fffbd0a83ddd60e1c209d828994b3569`；
|
||
- main 的 `modeling_kimi_linear.py` 仍以 `num_heads=96` 初始化 `A_log`；
|
||
- 已发布 checkpoint 中该张量的公开 shape 是 `[128]`，与 main 存在加载不匹配；
|
||
- 官方 main 尚未合并修复或给出 conversion contract。
|
||
|
||
同时出现了两个**未合并、互相竞争的社区 PR**：
|
||
|
||
### PR #144：把参数改成 128
|
||
|
||
- 一行把初始化从 `self.num_heads` 改为 `self.head_dim`；
|
||
- 提交者报告所有 shards 能加载；
|
||
- 提交者明确说没有独立验证 forward；
|
||
- 它把 checkpoint shape 当作权威语义。
|
||
|
||
### PR #150：保留 96，加载时验证并裁零尾
|
||
|
||
- 保持模型参数为 `[num_heads]=[96]`；
|
||
- `_load_from_state_dict` 检查 `[96:128]` 全为零后再裁掉；
|
||
- 提交者报告检查了 69 个 KDA 层，所有 32 项尾部都 exact zero；
|
||
- 提交者还报告经过 disk-offloaded MoE 的完整生成；
|
||
- 这些 checkpoint 全量扫描和生成是**提交者报告**，本项目没有下载约 1.56 TB
|
||
权重独立复核；本项目只核对了 PR diff、main 代码路径和 PR 状态。
|
||
|
||
PR #150 进一步指出，forward 中 `v` 被 reshape 为 96 heads，kernel 随后接收
|
||
`A_log`；若直接采用 #144 的 128 元素参数，现有 `view(H, 1)` 路径会在 96 heads 下
|
||
失败。这个论证比单看 checkpoint shape 更完整，但在官方合并或独立复核前，仍必须标成
|
||
高可信社区解释，而不是 Kimi 官方结论。
|
||
|
||
当前准确状态应写成：
|
||
|
||
> official main 仍然不匹配；社区已有两个竞争性候选修复，其中 #150 提供了更完整的
|
||
> checkpoint-tail 与 end-to-end 证据，但尚无官方裁决。
|
||
|
||
来源：
|
||
|
||
- [Kimi-K3 official main](https://huggingface.co/moonshotai/Kimi-K3/tree/main)
|
||
- [main `modeling_kimi_linear.py`](https://huggingface.co/moonshotai/Kimi-K3/blob/main/modeling_kimi_linear.py)
|
||
- [community PR #144](https://huggingface.co/moonshotai/Kimi-K3/discussions/144)
|
||
- [community PR #150](https://huggingface.co/moonshotai/Kimi-K3/discussions/150)
|
||
|
||
## 7. Round 07 的可证伪问题
|
||
|
||
Round 07 将：
|
||
|
||
1. exact replay Round 06 的三 seed 训练；
|
||
2. exact reproduce Round 06 的 `detached_learned` 与 `uniform_all` 两个端点；
|
||
3. 在 step 0 对 14 种模式做负控制，在 step 8,000 做正式矩阵；
|
||
4. 同时测 `spike_contrast` 与 `peak_normalized`；
|
||
5. 用 groups 6+7 的 sufficiency 与 restoration 两个方向预注册 50% log-gap
|
||
localization threshold；
|
||
6. 用单 group 的 20% 阈值和 attention-vs-MLP 的 15 percentage-point margin
|
||
作更细分的层级判定；
|
||
7. 从初始化完整 replay seed 2026073001。
|
||
|
||
完整模式、公式、失败规则和复现合同见
|
||
`research/K3_ATTNRES_LOCAL_PATH_PROTOCOL.md`。
|