# DeepSeek-V2-Lite 真实权重执行审计

> 状态：DeepSeek 专题第三轮工件；2026-07-29  
> 目的：把“MLA 会压缩缓存”“MoE 会选择专家”从论文概念推进到固定官方权重、真实 tokenizer、真实 hidden states 和逐 token 路由记录。  
> 边界：这不是完整模型 benchmark、训练 trace、生产服务复现、专家语义分析或总体负载估计。

## 0. 一页结论

这次实验固定官方 `deepseek-ai/DeepSeek-V2-Lite` revision
`604d5664dddd88a0433dbae533b7fe9472482de0`，使用官方 tokenizer、配置、模型代码和
BF16 checkpoint 第一分片，在 RTX 5090 上依次执行 embedding 与 decoder layer 0–6。
第 0 层是 dense FFN，第 1–6 层是完整 MoE 层；第 7 层横跨第一、第二分片，因此明确停止。

四条最重要的结果：

1. 4 条人工固定 prompt 共 90 个有效 token，在 6 个 MoE 层产生
   `6 layers × 90 tokens × top-6 = 3,240` 次真实 routed-expert 选择。
2. 每个执行层都实际观测到 MLA 的 `[B,T,576]` 压缩投影；其中 512 是
   KV latent，64 是 decoupled RoPE key。
3. 官方 Hugging Face eager 实现仍把 cache 物化为
   key `[4,16,27,192]` 和 value `[4,16,27,128]`。以 BF16 计，
   每 token、每层是 10,240 bytes；按配置保存 latent + RoPE key 只需 1,152 bytes，
   相差 `8.8889×`，后者相对前者减少 `88.75%`。
4. 两次独立执行的来源、配置、tokenization、hidden-state hashes、MLA shapes、
   aggregate loads 与全部 token routes 共 `31/31` 项完全一致；计时明确不参与一致性检查。

这里最反直觉的发现不是某个“神奇专家”，而是：

- **覆盖不等于均衡。** 90 个 token 在单层可触达 60–64/64 个专家，但各层
  CV 为 0.549–0.925，Gini 为 0.303–0.420。
- **路由 ID 不等于语义标签。** `E8` 只表示某一层内部数组的第 8 号专家；跨层的
  `E8` 是不同参数，四条 prompt 也不足以赋予“代码专家”等语义。
- **算法压缩不等于实现已经压缩存储。** MLA 的低秩状态合同与 HF eager cache
  的实际物化格式是两张账，必须同时报告。

## 1. 证据身份

### 1.1 官方工件

| 工件 | 固定值 |
|---|---|
| Hugging Face model | `deepseek-ai/DeepSeek-V2-Lite` |
| revision | `604d5664dddd88a0433dbae533b7fe9472482de0` |
| checkpoint tensor bytes | `31,412,968,448`，约 29.261 GiB |
| shard 1 bytes | `8,594,887,408`，约 8.005 GiB |
| config SHA-256 | `f346286b0f1c8b044252fd54cb4fa78b9fab6472a6e8bebb9edfe03d414ea03d` |
| modeling code SHA-256 | `7d8e5221095286eea991137760893fd7ba52727c0b4ebf48ec09e8bc56b45b9c` |
| tokenizer SHA-256 | `41f3bf64213da8c012d8bd0871a58a1fdf70463e8f08f110ddbb1082f529f669` |
| index SHA-256 | `d2cdb2f325f6682cf3ad1ad2526a9f979d857390b579380c0331d975136e0acf` |
| shard 1 SHA-256 | `0d7e9f39bde40111a4c0f390b87497dce4565cf578d916395e6b2c7851f1e8da` |

第一分片完整容纳 embedding、layer 0–6 和 layer 7 的一部分。为了不把缺参数的
layer 7 冒充完整执行，本实验把证据边界钉在 layer 6。

原始 checkpoint 分片不进入 Git；仓库只提交：

- 可复现执行脚本；
- 机器可读 trace；
- 独立复跑比较结果；
- 研究审计与网页可视化。

### 1.2 模型配置

| 对象 | 官方配置 |
|---|---:|
| reported total / active | 15.7B / 2.4B |
| decoder layers | 27 |
| hidden size | 2048 |
| attention heads | 16 |
| qk NoPE / RoPE head dim | 128 / 64 |
| value head dim | 128 |
| KV LoRA rank | 512 |
| routed experts / active | 64 / 6 |
| shared experts | 2 |
| expert intermediate | 1408 |
| dense prefix | 1 layer |
| router | softmax + greedy top-k |
| selected top-k normalization | false |

`max_position_embeddings=163840` 与 YaRN 配置属于 checkpoint config；
官方发布表中的上下文口径不应被本实验自行改写成同一个数字。

### 1.3 软件与硬件

| 对象 | 值 |
|---|---|
| GPU | NVIDIA GeForce RTX 5090，32,607 MiB |
| driver | 595.84 |
| Python | 3.10.14 |
| PyTorch | 2.11.0+cu128 |
| CUDA runtime | 12.8 |
| Transformers | 4.41.2 |
| safetensors | 0.8.0 |
| TF32 matmul | disabled |

官方 2024 remote code 在当前 Transformers 5.5 环境中会因已移除的
`is_torch_fx_available` 入口而导入失败。因此实验使用隔离的 Transformers 4.41.2。
模型源码保持只读、不打补丁；runner 只通过本地 package 方式导入官方
`configuration_deepseek.py` 与 `modeling_deepseek.py`。

这条版本边界很重要：**“模型代码公开”不等于“任意未来依赖版本都可直接运行”。**

## 2. 实验设计

### 2.1 为什么选择截断的精确 forward

完整 15.7B BF16 权重与运行时状态虽然可能勉强接近单卡边界，但没有必要为了观察
前六层真实路由而把“全模型能否高效生成”混进同一实验。本 runner：

1. 用官方 tokenizer 一次编码 4 条 prompt；
2. 从第一分片读取官方 embedding；
3. 每次在 meta device 构造一个官方 decoder layer；
4. 为这一层绑定真实 safetensors 参数并传到 GPU；
5. 用上层输出作为下一层输入；
6. 通过 hook 捕获实际 `kv_a_proj_with_mqa` 与实际 MoE gate 输出；
7. 释放当前层，再加载下一层。

因此得到的是**真实权重、真实层类、真实连续 hidden states**，而不是随机初始化、
只读 config 或合成 router；但它仍不是完整 27 层生成。

### 2.2 固定 prompt

| ID | 标签 | token |
|---|---|---:|
| `zh_explanation` | 中文解释 | 26 |
| `en_architecture` | English architecture | 18 |
| `code` | Python code | 19 |
| `math` | 数学推理 | 27 |

batch padding 后形状为 `B=4, T=27`，有效 token 共 90。prompt 是用于建立可复现
探针的人工样本，不是自然语料分布、benchmark 数据集或统计代表样本。

## 3. MLA：一张算法状态账，一张实现物化账

### 3.1 实际观测

每个执行层的 `kv_a_proj_with_mqa` 输出都是：

```text
[batch, sequence, kv_lora_rank + qk_rope_head_dim]
= [4, 27, 512 + 64]
= [4, 27, 576]
```

这 576 个元素可以分为：

- `c_t^KV`：512 维 joint latent；
- `k_t^R`：64 维 decoupled RoPE key。

后者不能因为体积小就从缓存公式中消失。

### 3.2 HF eager 实际保存了什么

本次 `use_cache=True` 的官方 Hugging Face eager 路径实际返回：

```text
key   [4, 16, 27, 192]
value [4, 16, 27, 128]
```

所以每 token、每层的缓存元素是：

```text
expanded eager = 16 × (192 + 128) = 5,120 elements
latent contract = 512 + 64 = 576 elements
```

在 BF16 下：

```text
eager bytes  = 5,120 × 2 = 10,240
latent bytes =   576 × 2 =  1,152
ratio        = 10,240 / 1,152 = 8.8889×
reduction    = 1 - 1,152 / 10,240 = 88.75%
```

### 3.3 为什么这不是论文 93.3% 的复跑

V2 报告的 `93.3%` 是完整 V2 相对 DeepSeek 67B、在论文指定配置和比较口径下的
作者报告结果。本实验的 `88.75%` 是 V2-Lite 配置中：

- HF eager 展开 K/V 元素；
- 与 latent + RoPE key 理论存储元素；

之间的逐 token、逐层 BF16 算术比较。模型、维度、基线和实现口径都不同，
二者不能互相替代。

进一步说，低秩架构只定义“可以保存什么最小状态”；生产系统是否真的只保存 latent，
还取决于 attention kernel、权重吸收、RoPE 分叉、paged cache 和服务框架。

## 4. MoE：真实路由显微镜

### 4.1 总量守恒

每个 MoE 层都满足：

```text
90 valid tokens × top-6 = 540 routed selections
```

6 个层合计 `3,240` 次。两条 shared expert 等价路径始终运行，但它们不属于 router
输出的 0–63 routed expert ID，因此不写进 top-6 列表。

### 4.2 六层聚合负载

| layer | selections | used / 64 | zero | CV | Gini | effective experts | top expert |
|---:|---:|---:|---:|---:|---:|---:|---|
| 1 | 540 | 63 | 1 | 0.925 | 0.420 | 46.66 | E8 · 48 |
| 2 | 540 | 64 | 0 | 0.549 | 0.303 | 55.08 | E62 · 23 |
| 3 | 540 | 62 | 2 | 0.569 | 0.322 | 53.51 | E54 · 19 |
| 4 | 540 | 62 | 2 | 0.866 | 0.417 | 47.03 | E48 · 40 |
| 5 | 540 | 60 | 4 | 0.642 | 0.332 | 52.14 | E14 · 32 |
| 6 | 540 | 61 | 3 | 0.765 | 0.378 | 49.48 | E25 · 40 |

三个指标回答不同问题：

- `used experts`：这批 token 是否至少触达某专家一次；
- `CV = std / mean`：计数离散程度；
- `effective experts = exp(entropy)`：若把当前熵换算成均匀分布，相当于多少个专家。

因此 layer 1 触达 63 个专家，却只有 46.66 个 effective experts，且 E8 承担 48/540
次选择。只报“63/64 被使用”会掩盖负载长尾。

### 4.3 prompt 之间看到的差异

同一层内，四条 prompt 的 used-expert set Jaccard 与 CV 会变化。例如：

- layer 1：中文 prompt 使用 54 个专家、CV 0.898；英文架构 prompt 使用 40 个、
  CV 1.360；代码 prompt 44 个、CV 1.263；数学 prompt 45 个、CV 1.184。
- layer 4：聚合 top expert 是 E48；英文和代码各把 E48 路由 11 次，
  中文 prompt 的 top expert 却是 E29、16 次。
- layer 6：英文 prompt 使用 42 个专家、CV 1.439；中文为 49 个、1.031；
  数学为 48 个、0.915。

这些是**描述性 route traces**，说明 token 与上下文确实改变 gate 输出；它们不证明
“E48 是代码专家”，更不允许以四条 prompt 推断训练语料上的领域分工。

### 4.4 top-6 权重没有重新归一

配置 `norm_topk_prob=false`。router 先对 64 个专家做 softmax，再选 top-6；
被选中的 6 个概率不会重新缩放到和为 1。各层选中权重和的均值：

| layer | mean selected top-6 weight sum |
|---:|---:|
| 1 | 0.3949 |
| 2 | 0.4801 |
| 3 | 0.4898 |
| 4 | 0.4749 |
| 5 | 0.4832 |
| 6 | 0.4440 |

所以网页显示某 token 的六个权重和小于 1 是真实配置行为，不是漏算。

## 5. 可复现性闸门

正式 trace：

```text
src/data/deepseek-v2-lite-trace.json
SHA-256 81ff4ab34d20121fe42219c566dd4780f4c7f74252a31b596f90e5280e1f1aef
captured 2026-07-29T05:55:35.599912+00:00
```

第二次独立执行：

```text
SHA-256 b5e2e7567e17765195313473499522a4529b9d37ea96963ba2b9455c3c0b86e6
captured 2026-07-29T05:56:32.527770+00:00
```

比较结果：

```text
31 / 31 exact
timing compared: false
```

精确检查覆盖：

- provenance、configuration、prompt tokenization；
- initial / final hidden hashes；
- layer 0–6 hidden hashes 与 MLA shapes；
- layer 1–6 aggregate loads；
- layer 1–6 全部 token routes。

计时会受首次 kernel、频率、温度、后台进程与同步位置影响，因此没有伪装成 deterministic
evidence。本轮只把计时保留在原始 trace，网站不把它包装成性能 benchmark。

## 6. 绝对禁止的外推

| 本实验能够说 | 本实验不能说 |
|---|---|
| 固定 revision 的前 7 层产生了这些 hidden states | 完整模型会生成什么回答 |
| 四条 prompt 在 6 层产生这些 top-6 routes | 训练集或线上请求的总体专家负载 |
| 某层某 expert ID 被选中多少次 | 该专家具有什么稳定语义 |
| HF eager 物化了展开 K/V | 所有 MLA serving kernel 都这样缓存 |
| V2-Lite 配置可导出 576 元素 latent state | 完整 V2 的 93.3% 已被复跑 |
| 两次相同环境执行 31/31 exact | 跨 GPU、依赖版本和 kernel 仍 bitwise identical |
| layer 0–6 在第一分片内完整 | layer 7 或 layer 8–26 已执行 |

跨层连线也被禁止：layer 1 的 E8 与 layer 2 的 E8 是不同参数对象。可视化只能在同一层内
比较 expert load，不能画一条 “E8 专长” 纵贯 6 层。

## 7. 复现入口

环境与命令见：

- `experiments/deepseek/README.md`
- `experiments/deepseek/v2_lite_trace.py`
- `experiments/deepseek/compare_v2_lite_traces.py`

执行一次：

```bash
python experiments/deepseek/v2_lite_trace.py \
  --artifact-dir /path/to/deepseek-v2-lite \
  --output /path/to/trace.json
```

比较两次：

```bash
python experiments/deepseek/compare_v2_lite_traces.py \
  --first /path/to/trace-1.json \
  --second /path/to/trace-2.json \
  --output /path/to/repro.json
```

## 8. 下一道研究闸门

本轮已经把 DeepSeek 第三轮从“计划真实 trace”推进到真实 tokenizer、MLA state、
MoE routes 与确定性复跑，但仍有四块未闭合：

1. 用真正只保存 latent 的 MLA kernel 对照 HF eager materialization；
2. 扩大公开语料样本，给 aggregate load 置信区间，并考察 batch / padding / sequence
   对 expert parallel 的影响；
3. 复跑 FP8、pipeline 或通信 trace，而不是继续用教学 schedule；
4. 做可审计的 R1-like 小模型训练实验，记录 rollout、reward、KL、长度与梯度统计。

在这些闸门完成之前，DeepSeek 专题保持“第三轮进行中”，不写成完整独立复现。