wuyang
353 lines
10 KiB
Markdown
353 lines
10 KiB
Markdown
# DeepSeek-V2-Lite-Chat 多种子采样稳健性协议
|
||
|
||
> 状态：已执行；正式结果、独立评测与新进程 R0/R1 复跑均通过
|
||
>
|
||
> 注册日期：2026-07-30
|
||
>
|
||
> 模型：`deepseek-ai/DeepSeek-V2-Lite-Chat`
|
||
>
|
||
> revision：`85864749cd611b4353ce1decdb286193298f64c7`
|
||
>
|
||
> 前序实验：512-token greedy completion 与全 27 层 trace
|
||
>
|
||
> 结果审计：`research/DEEPSEEK_V2_LITE_CHAT_SAMPLING_AUDIT.md`
|
||
|
||
## 0. 这一轮只补哪一个证据缺口
|
||
|
||
Round 04–05 已经证明：
|
||
|
||
```text
|
||
固定 greedy 解码下：
|
||
同一 source 的 system / 历史边界变化会让输出 token 轨迹分叉；
|
||
512-token 预算下有 121 / 128 格自然遇到 EOS；
|
||
子集新进程复跑可以逐 token exact。
|
||
```
|
||
|
||
但 greedy 只取每一步概率最大的一个 token。它不能回答：
|
||
|
||
```text
|
||
换一组随机数以后，某个条件是否仍有相似的完成率与任务结果？
|
||
greedy 输出是采样分布中的常见轨迹，还是一条很窄的路径？
|
||
两个条件的样本集合彼此靠近，还是只有某一对 greedy 输出不同？
|
||
```
|
||
|
||
本轮因此启用 checkpoint 随附的 sampling config，固定多个 seed。它不是新的能力
|
||
benchmark，也不尝试用 8 个样本完整估计语言分布。
|
||
|
||
---
|
||
|
||
## 1. 冻结不变的对象
|
||
|
||
继承 Round 05：
|
||
|
||
- 官方 SFT Chat checkpoint、12 个文件及 SHA-256；
|
||
- BF16、官方 eager Python 实现、Transformers `4.41.2`；
|
||
- 28 GiB static placement 与 `expandable_segments:True`；
|
||
- CUDA resident：embedding + layers 0–23；
|
||
- CPU offload residency：layers 24–26 + final norm + `lm_head`；
|
||
- 同一 source 的八格进入同一个左填充 batch；
|
||
- `system off/on × EOS/BOS/x/period`；
|
||
- EOS 是官方序列；BOS、`x`、句点各是单 ID 反事实；
|
||
- `PAD=EOS`、padding mask 为 0、`use_cache=true`；
|
||
- 公开数据、source ID、source text hash 与 prompt token hash。
|
||
|
||
本轮只取前序固定次序中每域第 1 条：
|
||
|
||
| 域 | source |
|
||
|---|---|
|
||
| English | `wikitext2/raw-validation/0443` |
|
||
| Chinese | `tnews/test/4855` |
|
||
| Code | `HumanEval/31` |
|
||
| Math | `gsm8k/test/1069` |
|
||
|
||
这是 4 条 source 的机制显微镜，不是 4 个领域的总体估计。
|
||
|
||
---
|
||
|
||
## 2. 解码配置来自哪里
|
||
|
||
固定 revision 的官方 `generation_config.json` 写明：
|
||
|
||
```json
|
||
{
|
||
"do_sample": true,
|
||
"temperature": 0.3,
|
||
"top_p": 0.95,
|
||
"bos_token_id": 100000,
|
||
"eos_token_id": 100001,
|
||
"transformers_version": "4.39.3"
|
||
}
|
||
```
|
||
|
||
本轮在已固定的 Transformers `4.41.2` 执行这组参数：
|
||
|
||
```text
|
||
do_sample = true
|
||
temperature = 0.3
|
||
top_p = 0.95
|
||
top_k = 0（显式关闭默认 top-k）
|
||
max_new_tokens = 512
|
||
use_cache = true
|
||
```
|
||
|
||
Holtzman et al. 2019 的 nucleus sampling 是这里 `top_p` 的方法来源；它动态保留累计概率
|
||
达到阈值的候选集合。Wang et al. 2022 的 self-consistency 说明多条推理样本可以聚合答案，
|
||
但本轮只在 1 条 GSM8K source 上展示多数答案，绝不把它称为标准 self-consistency
|
||
benchmark。
|
||
|
||
官方文件记录的是参数默认值，不保证不同 Transformers 版本、kernel、batch 顺序与 seed
|
||
产生相同随机轨迹；因此依赖栈和 batch 合同必须进入结果。
|
||
|
||
---
|
||
|
||
## 3. seed 如何在结果之前冻结
|
||
|
||
8 个 base seeds 不是手选“看起来分散”的整数。它们由以下字符串逐个做 SHA-256，并把
|
||
前 4 bytes 按 big-endian 解释为无符号整数：
|
||
|
||
```text
|
||
llm-atlas-deepseek-chat-sampling-v1/seed/{index}
|
||
```
|
||
|
||
固定结果：
|
||
|
||
| replicate | base seed |
|
||
|---:|---:|
|
||
| R0 | 19,683,830 |
|
||
| R1 | 1,560,062,173 |
|
||
| R2 | 3,978,401,375 |
|
||
| R3 | 1,280,933,274 |
|
||
| R4 | 1,467,459,869 |
|
||
| R5 | 1,297,359,489 |
|
||
| R6 | 2,722,953,988 |
|
||
| R7 | 3,330,978,061 |
|
||
|
||
为避免不同 source 重复使用同一 CUDA random stream，实际 run seed 定义为：
|
||
|
||
```text
|
||
SHA256(
|
||
"llm-atlas-deepseek-chat-sampling-v1/run\0"
|
||
+ decimal(base_seed)
|
||
+ "\0"
|
||
+ source_id
|
||
)[0:8] interpreted as unsigned big-endian
|
||
modulo (2^63 - 1)
|
||
```
|
||
|
||
每次 source×replicate batch 前：
|
||
|
||
```python
|
||
torch.manual_seed(run_seed)
|
||
torch.cuda.manual_seed_all(run_seed)
|
||
```
|
||
|
||
并记录 CPU / CUDA RNG state 的执行前后 SHA-256。
|
||
|
||
---
|
||
|
||
## 4. 很重要：八格共享“批次标签”，不共享同一个随机数
|
||
|
||
Transformers `4.41.2` 的 `_sample()` 对整个 batch 调用：
|
||
|
||
```python
|
||
torch.multinomial(probs, num_samples=1)
|
||
```
|
||
|
||
它不接受逐行 `Generator`。所以同一个 source×replicate 的八格：
|
||
|
||
- 在同一时间步、同一 batch 中执行；
|
||
- 共享同一个 run seed 与固定行顺序；
|
||
- 但每一行消费不同的 RNG 子流；
|
||
- 不是 common-random-number paired experiment。
|
||
|
||
因此“R3 的左格 vs R3 的右格”只能称为 **batch-seed aligned**，不能用普通 paired
|
||
bootstrap 或 paired t-test 冒充同随机数因果对照。本轮不报告 edge 的显著性 p 值或
|
||
置信区间。
|
||
|
||
固定 condition 行顺序：
|
||
|
||
```text
|
||
s0_eos, s1_eos, s0_bos, s1_bos,
|
||
s0_x, s1_x, s0_period, s1_period
|
||
```
|
||
|
||
改变行顺序会改变随机轨迹，必须判为不同协议。
|
||
|
||
---
|
||
|
||
## 5. 网格与执行闸门
|
||
|
||
### 5.1 技术 smoke
|
||
|
||
```text
|
||
4 sources × 2 base seeds (R0/R1) × 8 conditions × 16 new tokens
|
||
= 64 short outputs
|
||
|
||
另将 R0 在同一进程内重放一次：
|
||
|
||
4 sources × 1 replay seed (R0) × 8 conditions × 16 new tokens
|
||
= 32 replay outputs
|
||
```
|
||
|
||
技术 smoke 只验证：
|
||
|
||
1. prompt hashes 与 Round 05 的 32 格 exact；
|
||
2. 官方 temperature / top-p 实际进入 `generate()`；
|
||
3. `top_k=0`，没有隐式默认 top-k；
|
||
4. 64 个正式 smoke 输出正常，无 OOM / NaN / runtime exception；
|
||
5. R0 在同进程按相同 seed 重跑时 32 / 32 token exact；
|
||
6. R0 与 R1 至少有一个同 source、同 condition 的 cell 分叉；若 32 / 32 仍相同，只能继续调查，不能声称 sampling
|
||
已生效。
|
||
|
||
smoke 的 16-token 输出不进入正式统计。
|
||
|
||
### 5.2 正式网格
|
||
|
||
```text
|
||
4 sources
|
||
× 8 base seeds
|
||
× 8 conditions
|
||
× 512 new-token cap
|
||
= 256 sampled outputs
|
||
```
|
||
|
||
source 顺序与 replicate 顺序固定，不根据中间结果提前停止。某一格遇到 EOS 后由
|
||
Transformers 填 PAD；不能单独给未完成格追加预算。
|
||
|
||
### 5.3 独立复跑
|
||
|
||
正式完成后新启动 Python 进程、重新加载模型：
|
||
|
||
```text
|
||
4 sources × R0/R1 × 8 conditions
|
||
= 64 outputs
|
||
```
|
||
|
||
必须逐格比较：
|
||
|
||
- run seed；
|
||
- prompt token hash；
|
||
- 完整 generated token IDs；
|
||
- decoded text；
|
||
- EOS / truncation state；
|
||
- CPU / CUDA RNG pre-state hash。
|
||
|
||
只能写“64 / 64 sampled trajectories independently reproduced”，不能写 256 / 256。
|
||
|
||
---
|
||
|
||
## 6. completion 与任务评测仍沿用四张账
|
||
|
||
每条 sampled output 继续区分：
|
||
|
||
1. stopping：natural EOS / budget truncated / other stop；
|
||
2. task terminal：明确 final marker 或闭合 code fence；
|
||
3. evaluator coverage：数值可抽取或代码 AST + 沙箱可执行；
|
||
4. correctness：GSM8K gold exact / HumanEval official tests pass。
|
||
|
||
HumanEval 每个 candidate 进入全新 pinned 容器，沿用 Round 05：
|
||
|
||
```text
|
||
network none · read-only filesystem · user 65534:65534
|
||
cap-drop ALL · no-new-privileges · no host mounts
|
||
256 MiB memory/swap · pids 64 · cpus .5 · timeout 5s
|
||
```
|
||
|
||
同一代码文本若在多个 seed 重复，评测器仍保存每格结果，但可以按 candidate SHA-256
|
||
缓存一次沙箱执行；缓存必须只复用完全相同的 candidate + task + harness。
|
||
|
||
---
|
||
|
||
## 7. 预注册统计
|
||
|
||
### 7.1 每个 source×condition 的 8-sample 集合
|
||
|
||
- natural EOS / 8；
|
||
- budget truncated / 8；
|
||
- unique generated-token hashes / 8；
|
||
- greedy trajectory 是否出现在 8 个 sampled hashes 中；
|
||
- 28 对样本两两 token similarity 的 mean / min / max；
|
||
- 生成长度 mean / min / max；
|
||
- Math：8 个抽取答案、答案频次、majority final 与 gold；
|
||
- Code：AST / executed / official tests pass 频次。
|
||
|
||
“8/8 unique”表示完整 token 序列不重复，不表示语义有八种。
|
||
|
||
### 7.2 每条 edge 的两个样本集合
|
||
|
||
十条 edge 沿用前序定义。每个 source 报告：
|
||
|
||
- 同 replicate label 的 8 对 token similarity；
|
||
- 左集合每条样本到右集合的最高相似度，再与反方向平均：
|
||
`symmetric mean nearest-neighbor similarity`；
|
||
- 两边完整序列 hash-set intersection / union；
|
||
- completion class 计数差；
|
||
- Math / Code pass 频次差。
|
||
|
||
nearest-neighbor similarity 是 8-sample 描述量，不是分布距离的无偏估计。
|
||
|
||
### 7.3 汇总层
|
||
|
||
只做：
|
||
|
||
- 四条 source 合计的分子 / 分母；
|
||
- 按域逐 source 展示；
|
||
- 按 condition / edge 的描述性均值。
|
||
|
||
不做：
|
||
|
||
- 把 256 当作 256 个独立 benchmark tasks；
|
||
- 忽略同一 source 的重复采样聚类；
|
||
- 用 seed 当 source bootstrap unit；
|
||
- 根据 1 条 Math / Code source 给置信区间；
|
||
- best-of-8 与标准 pass@k 横比。
|
||
|
||
---
|
||
|
||
## 8. reproduction 与随机性要同时成立
|
||
|
||
采样实验的“可复现”不是要求所有 seed 输出相同，而是：
|
||
|
||
```text
|
||
相同 checkpoint + 输入 + 软件 + 行顺序 + seed
|
||
→ 同一条 sampled token trajectory
|
||
|
||
不同 run seed
|
||
→ 允许、并预期至少一部分 trajectory 分叉
|
||
```
|
||
|
||
正式结果必须同时报告：
|
||
|
||
- same-seed exact reproduction；
|
||
- across-seed diversity。
|
||
|
||
只报告前者会把采样伪装成 greedy；只报告后者又无法判断差异来自随机数还是环境漂移。
|
||
|
||
---
|
||
|
||
## 9. 仍然禁止的结论
|
||
|
||
- 8 seeds 已恢复完整生成分布；
|
||
- 某个边界“更有创造力”或“更稳定”；
|
||
- BOS / `x` / 句点是官方有效聊天条件；
|
||
- 1 条 GSM8K / HumanEval 代表任务能力；
|
||
- sampled majority 等于标准 self-consistency；
|
||
- unique sequence count 等于语义多样性；
|
||
- batch-seed aligned 等于 common-random-number paired；
|
||
- greedy 没出现在 8 samples 中就说明 greedy 不可信；
|
||
- sampling 输出差异由某层 router 或 hidden state 中介；
|
||
- CPU-offloaded eager 延迟代表服务吞吐；
|
||
- exact seed replay 可以跨 PyTorch / Transformers / CUDA 版本保证。
|
||
|
||
---
|
||
|
||
## 10. 失败与修订规则
|
||
|
||
- 技术 smoke 前可以修正代码错误，但正式 seed/grid/metrics 不随输出调整；
|
||
- OOM 时先降低 static GPU placement，保留八格 batch；任何改动都要用同 seed smoke 做
|
||
完整 token exact 跨放置闸门；
|
||
- 若必须拆八格 batch，正式协议作废并重新注册，因为 RNG 行消费与数值 batch content 都变了；
|
||
- 正式运行在写完整 JSON 前失败，不保留部分 seed 做结果；
|
||
- evaluator bug 可以修复并重跑 evaluator，但不能重选 sampled outputs；
|
||
- same-seed 复跑不 exact 时，结果只作失败诊断，不发布 sampling robustness 结论。
|