llm-atlas/research/K3_ATTNRES_REDUCED_AUDIT.md

# Kimi K3 第四轮：Attention Residuals 缩小版独立机制实验审计

> 协议：`llm-atlas-k3-attnres-reduced-v1`
>
> 预注册：`research/K3_ATTNRES_REDUCED_PROTOCOL.md`
>
> 数据清单：`experiments/k3/attnres/manifest.json`
>
> 执行日期：2026-07-30
>
> 执行设备：NVIDIA GeForce RTX 5090；PyTorch `2.11.0+cu128`

## 0. 先说结论

这一轮没有伪装成“跑通了 K3”。它做的是一个刻意缩小、从零训练、可公开复查的
Attention Residuals（AttnRes）机制实验：

```text
3 个结构
× 3 个预先冻结的初始化 seed
× 每格 2,000 steps
× 每步 32 × 256 target bytes
= 9 个正式训练格，147,456,000 target bytes
```

三个结构共享完全相同的 16 个 Transformer blocks、32 个残差子层、初始公共参数、
训练窗口、优化器与验证集。唯一设计变量是“前面产生的 residual states 怎样供下一层读取”：

```text
Baseline：只读上一残差状态
Full AttnRes：对全部历史残差状态做按维 softmax 混合
Block AttnRes：每 4 个残差子层形成一个局部块，块间再混合
```

在冻结的 64 个验证窗口上，最终 bits per byte（BPC，越低越好）为：

| seed | Baseline | Full | Block | Full − Base | Block − Base |
|---:|---:|---:|---:|---:|---:|
| 2026073001 | 2.00054 | 1.98454 | 1.94788 | −0.01600 | −0.05266 |
| 2026073002 | 1.99844 | 1.98523 | 1.95709 | −0.01321 | −0.04135 |
| 2026073003 | 1.99842 | 1.98392 | 1.96503 | −0.01450 | −0.03339 |
| 三 seed 均值 | 1.99913 | 1.98457 | 1.95667 | **−0.01457** | **−0.04247** |

按照看结果前冻结的判据——三个 seed 同为负，并且均值不高于 `−0.010 BPC`——Full 与
Block 都得到：

> **directional support in this reduced protocol**

中文应该读成：

> 在这套缩小训练合同中，允许子层重新读取更早的残差状态，方向一致地改善了验证 BPC。

它**不应该**读成：

- 已复现 AttnRes 论文的大模型收益；
- 已运行 Kimi K3 checkpoint；
- 已证明 Block 一般优于 Full；
- 已得到同参数、同 FLOPs 或同 wall time 的优势；
- 三个 seed 可以支持总体显著性、置信区间或 scaling-law 外推。

本轮还有一个同样重要的反结果：预注册的“16 个 Transformer blocks 的核心参数梯度 RMS
变异系数”在本实验中，Baseline 为 `0.3447`，Full 为 `0.5087`，Block 为 `0.6306`。
在这个定义和尺度下，AttnRes **没有**表现出更均匀的跨深度梯度。这个结果与论文的大模型
梯度叙述不能直接对齐，网站必须把它作为边界而不是藏起来。

---

## 1. 为什么不是直接跑 K3

### 1.1 公开 checkpoint 的未决形状冲突

第三轮工件审计在 K3 第一层 KDA 中发现：

| 官方工件 | `A_log` 所要求或实际给出的形状 |
|---|---|
| `config.json` | `num_heads = 96` |
| Hugging Face remote code | 按 `num_heads` 构造，即 `[96]` |
| FlashKDA kernel API | `[H]`，K3 中应为 `[96]` |
| checkpoint safetensors header | `[128]` |

本轮再次检查了当前官方 Hugging Face / GitHub 工件，并额外检查当前 vLLM 与 SGLang
Kimi K3 loader。两者都按 local head 维构造和切分 `A_log`，没有公开 `128 → 96` 的转换规则。

因此，以下做法都会越过证据：

```text
裁掉最后 32 个值
把 128 强行 reshape 成别的语义
把 128 解释成 head_dim
绕过 loader 后把输出叫作“K3 forward”
```

在 Moonshot 给出转换合同、修订权重，或一个官方 loader 明确处理这 32 个额外值之前，
本站不制造“真实 K3 前向结果”。

### 1.2 为什么缩小版仍有价值

不能诚实执行 1.56 TB checkpoint，不等于只能停在架构示意图。AttnRes 的核心问题可以被
缩成一个更小、但仍可被证伪的问题：

> 在相同 Transformer 主干、相同输入窗口与相同初始化下，把“固定单位 residual
> connection”替换成“学习的历史 residual 混合”，短预算训练是否出现一致方向？

这个问题不依赖 KDA、MLA、MoE、MXFP4、视觉塔或完整 K3 参数。它只检验 AttnRes
的局部机制方向，并且可以把全部代码、清单、聚合指标和复现哈希开源。

---

## 2. 先冻结什么

首版协议在正式结果产生前冻结以下项目：

- 数据仓库、revision、config、split 拼接规则与 byte tokenizer；
- 模型层数、宽度、head 数、FFN 宽度、位置编码、RMSNorm 与激活函数；
- Baseline / Full / Block 的精确定义；
- 三个初始化 seed；
- 每格训练步数、batch、context 与总 target bytes；
- AdamW、学习率曲线、weight decay、gradient clipping；
- 验证步、固定验证窗口与主指标；
- 主对比、方向判据和“不能宣称什么”；
- 深度 RMS、混合权重与梯度诊断；
- smoke 与正式独立进程 replay 合同。

正式协议不是从本轮曲线倒推的。关键提交顺序为：

```text
9039de1  research: preregister reduced AttnRes study
e361753  research: lock reduced AttnRes model contract
f998720  research: add reduced AttnRes runner
1f20f81  research: freeze reduced AttnRes corpus
```

### 2.1 一次被公开保留的预训练故障

第一次 smoke 在 step 0 的验证 forward 后停止：

```text
RuntimeError:
view size is not compatible with input tensor's size and stride
```

原因是切片后的 target tensor 不连续，而 loss 路径用了 `.view()`。当时：

- 尚未执行一个 optimizer step；
- 没有正式结果文件；
- 没有任何条件的训练或最终 BPC 可供选择。

修复仅把 `.view()` 改为语义等价且支持非连续输入的 `.reshape()`：

```text
5f49906  fix: flatten noncontiguous AttnRes targets
```

随后三个结构分别完成两次独立 smoke，冻结字段逐字段 exact。这个故障不改变实验设计，
但应留在审计链中，避免“第一次就完美运行”的虚假叙事。

---

## 3. 数据合同：文本怎样变成 byte 任务

### 3.1 固定数据源

| 项目 | 固定值 |
|---|---|
| repository | `Salesforce/wikitext` |
| revision | `b08601e04326c79dfdd32d625aee71d232d685c3` |
| config | `wikitext-2-raw-v1` |
| 行处理 | `(text or "") + "\n"` |
| 编码 | UTF-8 |
| tokenizer | byte ID `0..255` |
| vocabulary | 256 |

拼接后的 split：

| split | bytes | SHA-256 |
|---|---:|---|
| train | 10,951,563 | `0ca7d3e74dbe44564ea5942b85232f1bbcb525c9cd481cd5d28a87ee90e7e9b4` |
| validation | 1,148,008 | `a42356f6a8ff1d25daf25ec9db49e10a537c265581b61c74604bb63231dee719` |
| test | 1,292,014 | `bfe9eb16ab9987fb88bde4ea9a30a00f2a45db01dfc14bad78d05325789c4f12` |

这里的 byte tokenizer 不是为了追求最佳语言模型性能，而是为了移除另一个潜在变量：
不同 BPE 模型、词表和 normalization。BPC 也因此可以直接比较，而不受 tokenization
长度变化影响。

### 3.2 无状态窗口计划

训练窗口不靠进程内 RNG 顺序产生。对每个：

```text
architecture + seed + step + batch row
```

协议用 SHA-256 派生 train start offset。三种结构在同一 seed 下使用相同窗口；结构名不进入
窗口选择的有效随机盐。冻结计划包含 192,000 个起点，SHA-256 为：

```text
81521a70ec61f3717968f160cb711e50c5f52a665a6961538d339360cb695f48
```

固定 64 个验证窗口 tensor hash：

```text
5f71fda757fc75010ed16e7636bc394c69f55b34a3713b3b5a7ef8e03eae3c20
```

固定 16 个诊断窗口 hash：

```text
d970af9b0c656c9826f369b5fe6e3869a6f6cfeccfa5a922fe94ed1d24b86818
```

---

## 4. 模型合同：只改变 residual 读取拓扑

### 4.1 公共主干

| 项目 | 值 |
|---|---:|
| Transformer blocks | 16 |
| residual sublayers | 32（每 block attention + FFN） |
| model width | 192 |
| attention heads | 6 |
| head dimension | 32 |
| SwiGLU hidden | 768 |
| context | 256 bytes |
| dropout | 0 |
| position | learned absolute embedding |
| norm | pre-RMSNorm + final RMSNorm |
| attention softmax | causal, float32 |
| embedding / LM head | tied |

Attention projection 与 SwiGLU 都不使用 bias。三个结构的公共 core 参数均为
`9,541,824`，每个 seed 的公共参数初始化哈希在三种结构间 exact。

### 4.2 Baseline

普通 residual 子层：

```text
x_(l+1) = x_l + F_l(RMSNorm(x_l))
```

它只保留一个随深度持续累积的 residual stream。

### 4.3 Full AttnRes

第 `l` 个子层先对从 embedding 到当前深度的全部 residual states 做学习混合：

```text
α_l = softmax(q_l · RMSNorm(states))
x̃_l = Σ_i α_(l,i) state_i
state_(l+1) = F_l(RMSNorm(x̃_l))
```

`q_l` 是按 hidden dimension 学习的 pseudoquery，初始化为 0，所以初始 softmax 为均匀
读取。最后还有一个 output mixer，把 33 个可见 sources 混成 LM head 的输入。

### 4.4 Block AttnRes

32 个 residual sublayers 被分成 8 块，每块 4 层：

```text
块内：新 branch state 做普通局部累加
块边界：对历史块状态做学习混合，产生下一块输入
```

它保留“可以回读历史”的机制，同时把 Full 随深度增长的状态集合限制在块级。

### 4.5 参数公平与计算不公平

| 结构 | core | mixer | total | 相对 Baseline mixer overhead |
|---|---:|---:|---:|---:|
| Baseline | 9,541,824 | 0 | 9,541,824 | 0 |
| Full | 9,541,824 | 12,672 | 9,554,496 | 0.1328% |
| Block | 9,541,824 | 12,672 | 9,554,496 | 0.1328% |

这是近似同参数，不是同 FLOPs。当前教学实现用 PyTorch eager 保存和混合历史 states，
没有使用论文的大模型优化 kernel，所以它适合机制观察，不适合推断生产吞吐。

---

## 5. 训练与主指标

### 5.1 每格预算

```text
2,000 steps
× batch 32
× context 256 target bytes
= 16,384,000 target bytes / run
```

优化器：

```text
AdamW β=(0.9, 0.95), ε=1e-8
peak LR=3e-4, min LR=3e-5
100-step warmup + cosine decay
weight decay=0.1 for ndim>=2
global grad clip=1.0
BF16 autocast
```

验证发生在 `0, 100, 250, 500, 1000, 1500, 2000` steps。主指标只使用 step 2000
的固定验证 BPC；曲线用于帮助理解，不用于重新选择终点。

### 5.2 判据为什么这么保守

只有三个 seed，不能可靠估计总体方差或给出有意义的 population confidence interval。
所以预注册不用 p-value，而只问两个简单问题：

```text
三个 paired deltas 是否同方向？
mean delta 是否至少达到 0.010 BPC？
```

如果答案都是“是”，只写作本协议内的 directional support / concern。它是一道防止
夸大结论的阈值，不是一个通用显著性标准。

### 5.3 正式结果

Full 的三组配对差：

```text
−0.015996
−0.013207
−0.014498
mean = −0.014567 BPC
```

Block 的三组配对差：

```text
−0.052660
−0.041349
−0.033388
mean = −0.042466 BPC
```

两组都满足预注册的方向支持规则。Block 相对 Full 的均值差为 `−0.027898 BPC`，三个
seed 也同为负；但“Block − Full”不是预注册主判据，而且本实现的计算图与优化效率不同，
所以它只适合描述，不升级成一般性排名。

---

## 6. 它花了多少计算与显存

排除每次前 20 个计时 warmup steps 后，三个 seed 的均值：

| 结构 | mean step | 相对 Baseline | peak allocated | 相对 Baseline |
|---|---:|---:|---:|---:|
| Baseline | 21.62 ms | 1.00× | 3.04 GB | 1.00× |
| Full | 146.81 ms | 6.79× | 14.26 GB | 4.70× |
| Block | 54.63 ms | 2.53× | 6.52 GB | 2.15× |

这张表应该怎样读：

- Full 在教学实现中为每层保留并读取更多历史 states，因此最贵；
- Block 把可见历史限制在块级，成本明显下降；
- 时间与显存是“这份 PyTorch eager 实现 + RTX 5090”的观测；
- 不能把 6.79× / 2.53× 外推到论文 kernel、K3 训练系统或生产推理；
- BPC 改善不能被写成同 FLOPs 改善。

---

## 7. 看 residual stream：Block 为什么呈现锯齿

Baseline 的 stream-state RMS 从平均 `0.0661` 增到 `0.2110`：普通 residual
connection 把分支输出一路累积。

Block 的前 12 个 partial-state RMS 是：

```text
0.0334  0.0598  0.0967  0.1181
0.0509  0.0569  0.0745  0.0815
0.0532  0.0581  0.1079  0.1158
```

每四个值形成一个局部块：

```text
块内：逐层累积，RMS 通常上升
块间：重新从历史块状态混合，partial stream 被重置
```

所以曲线不是训练不稳定造成的随机锯齿，而是 Block 拓扑的直接几何痕迹。完整 32 点向量、
三个 seed 的 min / mean / max 均进入公开 JSON。

Full 的 layer-input RMS 则从 `0.0544` 降到 `0.00866`。这不等于信息“消失”：
每层输入是多个经过 RMSNorm 的历史 states 的学习加权和，混合可以通过方向抵消改变
合成向量的 RMS。只看单个标量不能判断信息保留量。

---

## 8. mixer 权重：一个事后但有解释力的观察

Full 在第 31 个 residual sublayer 的 branch-output RMS 平均达到 `1.4964`，是 32 层中
最大值。但最终 output mixer 给这个 source 的平均权重只有：

```text
observed = 0.002794
uniform  = 1 / 33 = 0.030303
ratio    = 0.0922× uniform
```

一个直观解释是：输出混合器学会了压低这个幅值突增的 source，而不是被迫把它以单位
residual 权重传到输出。

必须同时保留两个限制：

1. “最大 spike 对应低权重”是看完完整 trace 后挑出的描述；
2. 它不是预注册 endpoint，不能作为独立确认性证据。

网站会明确标注 **post-hoc descriptive callout**，并展示完整深度权重图，让读者看到它
不是从被隐藏的其他 source 中挑出的孤立数字。

---

## 9. 梯度结果没有复现论文叙述

预注册诊断对每个 Transformer block 的公共 core 参数计算 gradient RMS，再求 16 个
block 间的 coefficient of variation：

| 结构 | seed 1 | seed 2 | seed 3 | mean CV |
|---|---:|---:|---:|---:|
| Baseline | 0.3537 | 0.3409 | 0.3396 | **0.3447** |
| Full | 0.4890 | 0.5100 | 0.5272 | **0.5087** |
| Block | 0.6622 | 0.6849 | 0.5448 | **0.6306** |

CV 越低，按这个特定定义才越均匀。因此本轮观察是：

```text
Baseline < Full < Block
```

这和 AttnRes 论文在大模型训练中报告的、更平坦的跨深度梯度幅值叙述不是同一个结果。
合理边界包括：

- 本实验只有 width 192、16 blocks、2,000 steps；
- 本指标是“按 block 汇总的核心参数 gradient RMS”；
- 论文图可能观察 activation / residual-output gradients，聚合对象并不相同；
- byte-level WikiText-2 与论文的大规模训练数据、优化器状态和训练阶段不同。

正确表述是：

> 本缩小实验的主 BPC 对比支持 AttnRes 的方向，但预注册的核心参数梯度均匀性指标不支持
> 论文式叙述；这提示该解释可能依赖尺度、指标定义或训练阶段，需要后续专门实验。

不正确的做法是改换一个看起来更漂亮的梯度统计后，只展示新指标。

---

## 10. 复现链

### 10.1 smoke

三个结构各执行两次独立的 20-step smoke。以下字段对每个结构都 exact：

```text
manifest
model
optimizer
hashes
evaluations
training_history
diagnostic
environment
```

### 10.2 正式独立进程 replay

预先指定：

```text
architecture = block
seed = 2026073001
steps = 2000
```

正式格与 fresh-process replay 的最终 BPC 都是：

```text
1.947877975922777
```

上面的八组冻结字段全部 exact。计时不要求 exact，实际也不相等，因为 wall time 受系统
调度影响。

| 文件 | SHA-256 |
|---|---|
| formal block / seed 1 | `5df870369d9a86ccb4ba4191fbd1d6f3642893dd47a60f8f6d1143006bdfbdaf` |
| fresh replay | `e74d3323e5fe31378bb8aad7a8efa2fb91995cd7224c158cf03006466cdea2a7` |

### 10.3 公开产物

| 产物 | 内容 | SHA-256 |
|---|---|---|
| `src/data/k3-attnres-reduced.json` | 9 个完整 run + 聚合 + 复现记录 | `44f8622654d32485f8d6e698c02ba1365ddffb10cbd73db0294136d0bd93ce88` |
| `src/data/k3-attnres-reduced-compact.json` | 网站所需完整曲线与诊断 | `44864d48eddb2ae5887fba4b74f63b5a3d6a23497886ee307decf5b4f45d9faf` |
| `experiments/k3/attnres/reproduction.json` | smoke、初始化与 replay audit | `545543b7e4a970ca3bc0e6246610a32fb53ec3d9546a98e0f17f38d7121918a2` |

聚合器在同一批只读 run 文件上再次运行后，三个文件 SHA-256 全部不变。

---

## 11. 证据等级

### A. 本轮可直接主张

- 冻结协议下 9 个训练格的最终 BPC 与完整验证曲线；
- Full / Block 相对 Baseline 的三 seed 配对方向；
- 当前实现的参数量、实测 step time 与 peak allocated memory；
- 固定诊断窗口上的 residual RMS、mixer 权重与参数梯度统计；
- smoke 与指定正式格的独立进程 exact replay；
- 数据、窗口、初始化和产物 SHA-256。

### B. 只能作为机制解释

- Block 的四层锯齿与块边界重混合一致；
- Full mixer 可能通过降低权重抑制高 RMS source；
- Full / Block 的短预算优势可能来自更灵活的深度路由。

这些解释与观测相容，但不是唯一因果解释。

### C. 本轮明确不主张

- K3 checkpoint 已成功 forward 或训练；
- 论文表格、Figure 4–8 或 paper-scale scaling 已复现；
- AttnRes 在任意模型、数据和预算上都降低 loss；
- Block 一般优于 Full；
- 梯度在 AttnRes 中更均匀；
- 同 FLOPs、同 wall time 或生产系统的性价比优势；
- 三个 seed 支持总体统计显著性。

---

## 12. 下一步

这个实验把“能运行的独立机制 probe”完成了，但真实 K3 仍有两道门：

1. `A_log [128]` 的官方转换或权重修订；
2. 能加载完整或官方切分 K3 的受支持执行环境。

AttnRes 本身的下一轮也不应只增加 seed。优先级更高的是：

- 对齐论文实际使用的 activation / output-gradient 诊断定义；
- 增加 depth 与训练预算，检验梯度结论是否随尺度翻转；
- 做 mixer 计算的优化实现，再讨论同 wall-time 或近似同-FLOP 对比；
- 冻结一个更强 tokenizer / corpus 后检查 byte-level 结论是否保持；
- 将 Block size 作为预注册变量，而不是看完结果后挑 4。

---

## 13. 一手来源

- [Kimi K3 Technical Report](https://arxiv.org/abs/2607.24653)
- [Kimi K3 official checkpoint](https://huggingface.co/moonshotai/Kimi-K3)
- [Kimi K3 official code repository](https://github.com/MoonshotAI/Kimi-K3)
- [Attention Residuals](https://arxiv.org/abs/2603.15031)
- [Official Attention Residuals implementation](https://github.com/MoonshotAI/Attention-Residuals)
- [WikiText dataset repository](https://huggingface.co/datasets/Salesforce/wikitext)
- [vLLM Kimi K3 implementation](https://github.com/vllm-project/vllm)
- [SGLang Kimi K3 implementation](https://github.com/sgl-project/sglang)

Grok CLI 在协议冻结前只承担一次对抗式方法审阅：它提出锁定参数容量、残差拓扑、数据顺序、
指标定义和复现合同的检查项。所有论文事实和实验结论仍由一手来源、冻结代码与本地运行产物
支持；Grok 输出不作为证据来源。