llm-atlas/research/DEEPSEEK_ROUTING_CORPUS_AUDIT.md

# DeepSeek-V2-Lite 多域路由语料审计

> 状态：第三轮真实权重执行 / 固定公开语料 / prompt-level bootstrap  
> 捕获时间：2026-07-29T07:45:00+00:00  
> 证据身份：X（本机真实执行）+ O（官方工件）+ S（统计摘要）  
> 输出：
> `src/data/deepseek-v2-lite-routing-corpus.json` 与独立重跑
> `src/data/deepseek-v2-lite-routing-corpus-repro.json`

## 1. 这轮到底补了什么

上一轮 `v2_lite_trace.py` 的任务是做“显微镜”：4 条手写 prompt、90 个有效
token，逐 token 保存 top-6 expert ID 与 gate weight。它适合解释 router 实际输出
什么，却不适合回答“换一批文本，这个现象还在不在”。

本轮把问题改成：

1. 固定四种可公开重建的文本域；
2. 每域固定 32 条，共 128 条 prompt；
3. 对官方 DeepSeek-V2-Lite 的 embedding 与 layer 0–6 做连续 BF16 forward；
4. 在 layer 1–6 捕获每个有效 token 的真实 top-6 routed-expert ID；
5. 先聚合到 prompt，再以 prompt 为单位做 2,000 次分层 bootstrap；
6. 同时报告点估计、95% 区间、两种聚合口径和明确停止线。

正式运行包含：

| 数量 | 值 |
| --- | ---: |
| prompt | 128 |
| 有效 token | 8,460 |
| 每个 MoE 层的 routed-expert 选择 | 50,760 |
| 实测 MoE 层 | 6 |
| routed-expert 选择总数 | **304,560** |
| routed experts / layer | 64 |
| active routed experts / token | 6 |
| bootstrap replicates | 2,000 |

这里的 304,560 是 `8,460 tokens × top-6 × 6 MoE layers`，不是模型参数量、
训练 token 数或线上请求量。

## 2. 语料合同

### 2.1 四个公开来源

| 域 | 公开来源 | 只使用的字段 | 固定 revision / 文件 SHA-256 |
| --- | --- | --- | --- |
| 英文百科 | [Salesforce WikiText-2 raw validation](https://huggingface.co/datasets/Salesforce/wikitext/tree/b08601e04326c79dfdd32d625aee71d232d685c3/wikitext-2-raw-v1) | `text` | revision `b08601e…685c3`; parquet `204929b7…11c4c` |
| 中文新闻 | [CLUE TNEWS](https://github.com/CLUEbenchmark/CLUE/tree/9e61ddd3659ddb57ed82b4d0ba0a8613dfb55a2e) | `sentence` | repo `9e61ddd…55a2e`; archive `77c476e7…33462`; test `74f19932…a0ca8` |
| Python 代码 | [OpenAI HumanEval](https://github.com/openai/human-eval/tree/6d43fb980f9fee3c892a914eda09951f772ad10d) | `prompt` | revision `6d43fb9…ad10d`; gzip `b796127e…979ef` |
| 小学数学 | [OpenAI GSM8K](https://github.com/openai/grade-school-math/tree/3101c7d5072418e28b9008a6636bde82a006892c) | `question` | revision `3101c7d…6892c`; test JSONL `3730d312…d14` |

边界：

- HumanEval 的 `canonical_solution`、`test` 没有进入模型，也没有执行代码；
- GSM8K 的 `answer` 没有进入模型；
- TNEWS 的标签和关键词没有进入模型；
- WikiText 只取 raw validation 的正文候选，不连接其他 split；
- 这四个来源被当作“探针语料”，不是任务正确率评测。

### 2.2 确定性选样

固定 salt：

```text
llm-atlas-deepseek-routing-v1
```

每域候选按下式升序排列，再取前 32 条：

```text
SHA256(salt | domain | source_id), then source_id
```

这比 `random.sample` 多保留了两层可复现性：

- 不依赖 Python / NumPy 随机实现；
- 每条输出都保留 source ID、selection rank、原文 SHA-256、字符数与 token 数，
  可以从固定源文件重新定位。

文本使用官方 DeepSeek-V2-Lite tokenizer，加入 special tokens，从右侧截到 96
tokens。最低长度过滤为：

| 域 | 最低 token | 文本过滤后的候选 | 长度合格 | 选中 | 选中 token |
| --- | ---: | ---: | ---: | ---: | ---: |
| 英文百科 | 24 | 1,841 | 1,655 | 32 | 2,882 |
| 中文新闻 | 8 | 10,000 | 9,415 | 32 | 573 |
| Python 代码 | 24 | 164 | 164 | 32 | 2,983 |
| 小学数学 | 16 | 1,319 | 1,319 | 32 | 2,022 |

英文与代码经常触到 96-token 截止线；中文新闻标题明显更短。因此后续不能只给
一份“把所有 token 倒进桶里”的汇总。

## 3. 模型与执行边界

### 3.1 官方工件

```text
deepseek-ai/DeepSeek-V2-Lite
revision 604d5664dddd88a0433dbae533b7fe9472482de0
```

关键 SHA-256：

| 工件 | SHA-256 |
| --- | --- |
| `config.json` | `f346286b0f1c8b044252fd54cb4fa78b9fab6472a6e8bebb9edfe03d414ea03d` |
| `modeling_deepseek.py` | `7d8e5221095286eea991137760893fd7ba52727c0b4ebf48ec09e8bc56b45b9c` |
| `tokenizer.json` | `41f3bf64213da8c012d8bd0871a58a1fdf70463e8f08f110ddbb1082f529f669` |
| checkpoint index | `d2cdb2f325f6682cf3ad1ad2526a9f979d857390b579380c0331d975136e0acf` |
| shard 1 | `0d7e9f39bde40111a4c0f390b87497dce4565cf578d916395e6b2c7851f1e8da` |

第一分片完整包含 embedding 与 decoder layer 0–6；layer 7 跨分片，因此继续遵守
原有停止线。Layer 0 是 dense FFN，layer 1–6 是本次统计的六个 MoE 层。

### 3.2 批处理不会把 padding 算进统计

128 条样本按 token 数、domain、source ID 稳定排序，batch size 为 16。每个 batch
右侧 padding，并使用官方 eager attention 与 causal/padding mask。

gate hook 会看到 padded positions 的输出，但统计时只切：

```text
topk_ids[sample, :valid_length, :]
```

所以每条 prompt 的 route 总数必须严格等于：

```text
valid_tokens × 6
```

六层均通过这个不变量检查；每层都是 50,760 routes。

### 3.3 未执行的对象

- 未下载或执行 layer 7–26；
- 未做完整模型生成；
- 未测回答正确率；
- 未测训练期间 router load；
- 未测线上 serving 流量；
- 未执行 FlashMLA 优化 kernel；
- 未给 expert ID 赋语义名称。

## 4. 为什么 bootstrap 的单位必须是 prompt

一个 prompt 中相邻 token：

- 共享主题、语言与格式；
- 共享相同前缀 hidden state；
- 在 causal attention 下相互依赖；
- 不是独立同分布样本。

如果把 8,460 个 token 当成 8,460 个独立样本，区间会虚假变窄。这里先为每个
prompt 保存 64 维 route-count vector，再在每个 domain 的 32 条 prompt 内有放回
抽取 32 条。四个 domain 分层进行，固定：

```text
replicates = 2000
seed = 20260729
interval = percentile [2.5%, 97.5%]
```

它回答的是：

> 如果仍从这个固定探针来源与选样合同附近换一批 prompt，统计量会怎样波动？

它不回答：

> 真实训练分布或线上流量的总体参数是什么？

## 5. 两种聚合口径

### 5.1 Token weighted

先汇总一个 domain 内所有 prompt 的 route counts，再归一：

```text
p_e = Σ_i count(i,e) / Σ_i Σ_e count(i,e)
```

长 prompt 贡献更多，适合回答“本批实际 token 流向哪里”。

### 5.2 Prompt balanced

先把每条 prompt 的 64 维分布归一，再让 32 条 prompt 等权：

```text
p_e = mean_i [count(i,e) / Σ_e count(i,e)]
```

适合跨格式比较，因为一条短新闻标题与一条被截到 96 token 的代码 prompt 各有一票。
网站默认展示这一口径，并允许切换。

在本次四域内部，CV 的两种口径最大绝对差为 0.027（Layer 1 数学）。这说明主要
层级图景不是某一条特别长 prompt 单独制造的；但两套数字仍完整保留，不能据此假设
未来语料也不敏感。

## 6. 指标是什么

对当前层、当前 domain 的 64 维 expert share `p`：

### CV

```text
CV = population_std(p) / mean(p)
```

越大表示 share 越分散。它不是训练损失，也不直接等于“不均衡惩罚”。

### Gini

64 个 share 的 Gini coefficient。0 表示完全均匀；越大表示质量集中到更少 expert。

### Effective experts

```text
H(p) = -Σ p_e log p_e
effective = exp(H)
```

完全均匀时为 64；越小表示“按熵折算”的有效 expert 数越少。

### Top-expert share

64 个 share 的最大值。完全均匀基线为 `1/64 = 1.5625%`。

### Jensen–Shannon divergence

同层两个 domain 分布 `P,Q`：

```text
M = (P + Q) / 2
JSD(P,Q) = 1/2 KL(P||M) + 1/2 KL(Q||M)
```

使用自然对数，范围 `[0, ln(2)]`。0 表示两条 64 维分布完全相同。

## 7. 主要结果

以下均为 **prompt-balanced** 点估计；括号内是 effective experts。网站可切换到
token-weighted 并查看完整 95% 区间。

| layer | 英文百科 CV（effective） | 中文新闻 CV（effective） | 代码 CV（effective） | 数学 CV（effective） |
| ---: | ---: | ---: | ---: | ---: |
| 1 | 0.439（59.0） | 0.754（53.3） | 0.566（55.4） | 0.613（56.3） |
| 2 | 0.363（60.2） | 0.460（58.4） | 0.400（59.1） | 0.403（59.0） |
| 3 | 0.398（59.2） | 0.469（57.9） | 0.440（57.9） | 0.525（57.0） |
| 4 | 0.424（58.6） | **0.910（47.2）** | 0.610（54.0） | 0.527（56.0） |
| 5 | 0.418（58.5） | 0.551（55.0） | 0.524（56.0） | **0.848（49.7）** |
| 6 | 0.496（56.7） | 0.594（53.1） | 0.556（54.7） | **0.770（50.7）** |

### 7.1 Layer 2 在四域都相对平

Layer 2 的 prompt-balanced CV 为 0.363–0.460，effective experts 为
58.4–60.2，是六个被测 MoE 层中四域共同最平的一段。

“相对平”只指这 64 维 route-count distribution；不等于 expert 权重相同、计算量
完全相同或训练全局均衡。

### 7.2 Layer 4 的中文新闻更集中

Layer 4 中文新闻：

```text
CV = 0.910, 95% CI [0.857, 0.993]
effective experts = 47.2, 95% CI [44.4, 48.5]
top share = E29 9.06%, 95% CI [8.41%, 9.78%]
```

同层英文百科 CV 为 0.424、代码为 0.610、数学为 0.527。正确表述是：

> 在这 32 条 TNEWS 句子、这个 tokenizer、这个 layer 的固定探针中，route counts
> 比另外三域更集中。

错误表述是：

> E29 是“中文专家”。

### 7.3 Layer 5/6 的数学更集中

Layer 5 数学：

```text
CV = 0.848, 95% CI [0.794, 0.911]
effective experts = 49.7, 95% CI [48.1, 50.7]
top share = E14 8.04%, 95% CI [7.38%, 8.64%]
```

Layer 6 数学：

```text
CV = 0.770, 95% CI [0.728, 0.826]
effective experts = 50.7, 95% CI [49.3, 51.5]
top share = E28 7.54%, 95% CI [6.79%, 8.26%]
```

E14 与 E28 位于不同层，是不同参数；不能连成一个跨层“数学专家轨迹”。

### 7.4 同层域间 JSD

每层最大的 prompt-balanced pair：

| layer | 最大 pair | JSD point | 95% bootstrap interval |
| ---: | --- | ---: | ---: |
| 1 | 中文新闻 ↔ 代码 | 0.0587 | [0.0549, 0.0703] |
| 2 | 中文新闻 ↔ 代码 | 0.0345 | [0.0306, 0.0466] |
| 3 | 中文新闻 ↔ 代码 | 0.0569 | [0.0519, 0.0713] |
| 4 | **中文新闻 ↔ 代码** | **0.1502** | **[0.1376, 0.1715]** |
| 5 | 中文新闻 ↔ 数学 | 0.1113 | [0.0990, 0.1368] |
| 6 | 中文新闻 ↔ 代码 | 0.1161 | [0.1054, 0.1351] |

Layer 4 的中文新闻↔代码是本探针最大的同层距离，但仍只有理论上界
`ln(2)≈0.693` 的约 21.7%。

必须特别注意：普通 percentile bootstrap 是围绕经验分布重采样，不是“两个总体完全
相同”的 null bootstrap。区间不含 0 不能被偷换成经过校正的显著性检验。

## 8. 可复现性

正式运行和独立重跑的完整 JSON：

```text
4678a1d15395de93ffba757598cc3642bf35e9e07f71d82ddd87c27fc38a09e4
```

两个文件 byte-for-byte identical。确定性范围包括：

- 128 条选样身份、token 数与原文 SHA-256；
- 六层、每条 prompt 的 64 维 integer route counts；
- 两种聚合口径；
- 2,000 次 bootstrap 导出的所有 metric / expert-share / JSD 区间；
- 模型、语料、环境与统计合同。

没有记录 wall-clock timing，因此复跑一致性没有把 GPU warm-up、频率或系统噪声混进
证据闸门。

### 8.1 运行入口

```bash
PYTHONPATH=/path/to/transformers-4.41.2-deps \
python -B experiments/deepseek/v2_lite_routing_corpus.py \
  --artifact-dir /path/to/deepseek-v2-lite \
  --human-eval /path/to/HumanEval.jsonl.gz \
  --gsm8k /path/to/gsm8k/test.jsonl \
  --tnews /path/to/tnews/test.json \
  --tnews-archive /path/to/tnews_public.zip \
  --wikitext /path/to/wikitext-validation.parquet \
  --output src/data/deepseek-v2-lite-routing-corpus.json \
  --per-domain 32 \
  --max-tokens 96 \
  --batch-size 16 \
  --bootstrap 2000 \
  --seed 20260729 \
  --captured-at 2026-07-29T07:45:00+00:00
```

官方 2024 remote code 在本机 Transformers 5.5 上会因已移除的
`is_torch_fx_available` 失败；与前两轮相同，本实验使用隔离的 Transformers 4.41.2
依赖，并把官方模型代码作为只读本地 package 导入，不给源码打补丁。

## 9. 仍然不能说什么

本实验没有授权以下结论：

- “DeepSeek 训练时专家全局负载就是这样”；
- “线上中文请求一定路由到 E29”；
- “E48 是代码专家、E14 是数学专家”；
- “某个 domain 的任务性能更好”；
- “router 的分布差异来自语义，而不是长度、tokenization、格式或共享前缀”；
- “六个早期 MoE 层代表完整 27 层”；
- “bootstrap CI 已经完成假设检验或多重比较控制”。

更稳妥的结论只有：

> 在固定、可重建的 128 条公开 prompt 上，DeepSeek-V2-Lite 的六个早期 MoE 层
> 确实呈现可测量的层间与域间 route-count 差异；prompt-level bootstrap 让我们能同时
> 看见差异和换 prompt 时的波动，但不能把参数索引直接解释成语义角色。

## 10. 下一步

1. 在受支持的 SM90 / SM100 环境执行 FlashMLA 优化 kernel，而不只运行算法参考路径；
2. 扩展到完整 layer 0–26，需要下载并校验其余 checkpoint shards；
3. 加入长度匹配与 tokenizer-fragmentation 对照，拆开 domain 和长度因素；
4. 预注册更少的主要比较，或使用 permutation / null bootstrap 与多重比较校正；
5. 研究 shared expert 与 routed expert 的激活规模，而不只看 routed IDs；
6. 若讨论性能，另建生成质量与吞吐合同，不与本路由描述实验混在一起。