# 指令微调与人类偏好研究账本

状态：正式一手证据账本，Chapter 10 首版研究中  
研究截止：2026-07-29  
本轮本地缓存：24 份新增一手 PDF / 文本，复用 PPO、DeepSeek、Kimi 与推理专题既有缓存  
线索发现：K3 references、论文引用网络、会议/作者页面、Grok CLI  
结论依据：原论文正文、会议论文页、官方技术报告；Grok 只用于扩大候选召回

## 0. 这一章真正要回答什么

“Alignment / 对齐”经常被说成一个模糊的终点，仿佛模型经过某种神秘训练后就“符合人类价值”。
为了避免这种过度承诺，本章把问题限定为：

> 一个只会延续互联网文本分布的 base language model，  
> 如何学会理解用户接口、产生可协作行为、区分更好与更差的回答，  
> 并在代理目标、反馈偏差与能力退化之间保持可检查的边界？

至少要分开十二张账：

1. **行为目标账**：我们想改变 helpfulness、harmlessness、honesty、格式遵循、风格还是某项能力？
2. **监督单位账**：标签作用于 Token、整段 demonstration、pairwise preference、标量、步骤还是环境结果？
3. **数据来源账**：人类、AI teacher、constitution、规则 verifier、执行环境分别提供什么信息？
4. **SFT 账**：teacher forcing 的条件似然学到了什么，又没有学到什么？
5. **偏好测量账**：排序、评分、二元可取性与多人分歧怎样进入数据？
6. **奖励模型账**：Bradley–Terry 类模型如何把比较变成标量代理？
7. **策略优化账**：PPO、REINFORCE/RLOO、GRPO 分别怎样更新 policy？
8. **直接偏好账**：DPO、IPO、KTO、ORPO、SimPO 消掉了哪些组件，保留了哪些假设？
9. **分布账**：反馈来自当前 policy 还是旧 policy；online、offline、on-policy、off-policy 不能混写。
10. **约束账**：reference KL、pretraining mix、长度/语言/安全约束怎样防止“为了高分走太远”？
11. **失效账**：reward hacking、过优化、迎合、长度偏置、拒答过度与 alignment tax 怎样出现？
12. **证据账**：训练 reward、RM accuracy、LLM judge、人工盲评、规则验证分别能证明到哪一步？

本章不声称给出“人类价值”的唯一数学定义。它讲的是可观测的 post-training 接口、训练信号和证据边界。

## 1. 四条因果链

### 1.1 从任务标签到自然语言接口

```text
每个任务训练一个专用模型
→ 多任务共享参数
→ 用 prompt template 把不同数据集写成自然语言任务
→ FLAN / T0：在许多 prompted tasks 上 instruction tuning
→ Self-Instruct：让模型自举生成 instruction / input / output
→ LIMA：检验少量高质量示范能把多大比例的预训练能力“叫出来”
→ 当代 SFT：混合通用、推理、工具、代码、安全与多轮轨迹
```

这里的核心变化不是“下一个 Token 目标消失”，而是训练条件从普通文本前缀变成了
`system / instruction / context / response` 的交互接口。

### 1.2 从比较轨迹到通用助手 RLHF

```text
Christiano et al. 2017：人比较两段行为轨迹
→ reward predictor 拟合 pairwise preference
→ Ziegler et al. 2019：把 RM + KL + PPO 接到语言模型
→ Stiennon et al. 2020：摘要任务验证完整三段式管线
→ InstructGPT 2022：SFT → RM → PPO-ptx 扩展到开放指令
→ HH-RLHF / Llama 2：helpfulness、安全与多轮迭代被显式分账
```

真正的桥梁是“比较比绝对打分更容易”，并通过 Bradley–Terry 风格的选择模型把比较拟合成可优化标量。

### 1.3 从显式奖励模型到直接偏好目标

```text
RM + PPO：先拟合 scalar reward，再对当前 policy 做在线优化
→ RRHF / SLiC-HF：用排序或似然校准直接作用到回答概率
→ DPO：在 BT + KL-regularized optimum 假设下，把 reward 改写成 policy/reference log-ratio
→ IPO：指出确定性偏好假设下的过拟合问题，改用回归式间隔
→ KTO：允许 desirable / undesirable 非成对反馈
→ ORPO：把 SFT 与 odds-ratio preference 合为单阶段
→ SimPO：用长度归一平均 log-prob 和 margin 构造 reference-free reward
```

“无需 reward model”不等于“无需偏好信号”，也不等于“自动 on-policy”。

### 1.4 从人类偏好到 AI、规则与环境反馈

```text
Human demonstrations / rankings
→ Constitutional AI：原则 → 自我批评/修订 → AI preference
→ RLAIF / UltraFeedback：用 LLM 扩大标签量与维度
→ rule-based verifier：数学答案、编译器、测试用例
→ generative reward model：按 rubric 生成评价过程与分数
→ DeepSeek：SFT + GRPO + rule/model/GRM，多阶段合并
→ Kimi K3：SFT → 3 domains × 3 efforts RL teachers → MOPD
```

这不是“AI 反馈取代人类”的单向历史。现代系统常把人工定义的目标、AI 扩标、可执行规则和环境结果组合起来。

## 2. 最小数学：四个不同对象

### 2.1 SFT：模仿一个给定回答

对 prompt `x` 与示范回答 `y = (y₁,…,y_T)`：

```text
L_SFT = - Σ_t m_t log πθ(y_t | x, y_<t)
```

`m_t` 通常只让 assistant response token 计入损失；system/user token 用作条件但不作为目标。

它在问：

> 在已经给定这个参考答案的条件下，模型是否提高了每个参考 Token 的概率？

它没有直接问“另一个回答是否更好”，也没有在自由 rollout 分布上训练纠错。

### 2.2 偏好模型：比较两个完整回答

对同一 prompt 的 chosen `y_w` 与 rejected `y_l`，Bradley–Terry 形式为：

```text
P(y_w ≻ y_l | x)
  = σ(rφ(x,y_w) - rφ(x,y_l))
```

reward model loss：

```text
L_RM = -log σ(rφ(x,y_w) - rφ(x,y_l))
```

只有 reward difference 可辨识：给同一 prompt 的全部奖励同时加一个常数，不改变偏好概率。

### 2.3 KL-regularized policy optimization

典型目标的抽象形式：

```text
max_π E[rφ(x,y)] - β KL(π(·|x) || π_ref(·|x))
```

`π_ref` 不是装饰：

- 把 policy 留在 reward model 见过的分布附近；
- 保持语言质量与已有行为；
- 让 reward 与偏离成本之间形成可调边界。

InstructGPT 还加入 pretraining mix：

```text
reward - β log(π_RL / π_SFT) + γ log π_RL(x_pretrain)
```

因此论文默认的 InstructGPT 是 PPO-ptx，不应把它简化成“纯 PPO”。

### 2.4 DPO：用 policy/reference 比值参数化隐式奖励

在论文的假设下：

```text
rθ(x,y) = β log [πθ(y|x) / π_ref(y|x)]
```

DPO loss：

```text
L_DPO =
 -log σ( β[
    log πθ(y_w|x) - log π_ref(y_w|x)
  - log πθ(y_l|x) + log π_ref(y_l|x)
 ])
```

它训练的是“相对 reference，chosen 比 rejected 获得更大的 log-ratio 提升”。
所以 DPO 仍依赖：

- preference pair 的质量；
- pair 来自哪个行为分布；
- reference policy；
- `β`；
- sequence log-prob 的求和、mask 与长度口径。

## 3. 十二张教学账

### 3.1 行为目标账：先说清“对齐什么”

至少区分：

| 目标 | 典型问题 | 不能替代的证据 |
|---|---|---|
| Instruction following | 是否遵守格式、约束和任务 | 仅看流畅度不够 |
| Helpfulness | 是否解决用户真实问题 | RM 分数不是用户成功率 |
| Harmlessness / safety | 是否拒绝或安全重定向 | “总是拒答”不是完整安全 |
| Honesty / calibration | 是否承认不知道、避免编造 | 偏好者也可能奖励自信语气 |
| Reasoning / coding | 是否得到可验证结果 | 长 CoT 或漂亮代码不等于通过 |
| Agent execution | 是否在环境中完成长程任务 | 单轮 chat win-rate 不足 |
| Style / personality | 是否符合表达规范 | 不应冒充能力增长 |

“能力学习”与“行为塑形”不是二选一。SFT 可注入新任务知识，RL 也可能重排甚至扩展可访问策略；
但任何因果归因都需要控制 base、数据、预算和评测。

### 3.2 监督单位账：标签落在哪里

| 信号 | 单位 | 优点 | 盲点 |
|---|---|---|---|
| Demonstration | 整段目标回答的 Token | 稠密、稳定 | 只有一种参考路径 |
| Pairwise preference | 两个完整回答 | 比绝对分数容易 | 只给相对次序 |
| Likert / scalar | 单回答 | 可表达强弱 | 标尺跨人漂移 |
| Outcome reward | 轨迹末端 | 便宜、客观 | credit assignment 稀疏 |
| Process reward | 中间步骤 | 更细粒度 | 标注贵，可能不忠实 |
| Token teacher signal | 每个 Token | 稠密整合能力 | teacher 偏差逐 Token 传递 |
| Environment reward | 状态变化/测试 | 接近任务结果 | verifier 可能有漏洞 |

### 3.3 数据来源账：谁定义“更好”

1. 专业标注者；
2. 目标用户或产品日志；
3. 众包标注者；
4. AI judge / teacher；
5. 宪法或书面 rubric；
6. ground truth / 单元测试 / 编译器；
7. 沙箱环境的真实结果；
8. 多来源混合。

来源决定偏差。把 “human preference” 聚合成单一标量，会隐藏群体分歧、标注者训练、文化背景和任务专长。

### 3.4 SFT 账：稳定冷启动，不是万能答案

SFT 的三个主要作用：

- 教交互协议、角色与输出格式；
- 把 base model 的已有能力放到用户可调用的接口上；
- 给 RL 提供足够可靠的 cold-start policy，避免 rollout 一开始全是无效样本。

主要代价：

- teacher forcing 与自由生成分布不一致；
- 参考答案不是唯一正确策略；
- 每个回答 Token 都被模仿，难表达“这部分好、那部分差”；
- 低质量、重复或模板化示范会被直接学习；
- 过强模仿可能缩小探索空间。

LIMA 的 1,000 高质量样本是“强 base + 指定评测 + 风格/接口”的实证结果，不是“小数据对齐普遍定律”。

### 3.5 偏好测量账：比较也不是客观真值

偏好数据必须记录：

- candidate 由哪些 policy、temperature、长度上限生成；
- 是两两比较、K-way ranking 还是独立评分；
- 是否允许 tie / both bad；
- rubric 是总体质量还是多维评分；
- 是否随机交换展示位置；
- 每个样本有几名标注者、分歧如何保留；
- chosen 是否只是“两者较好”，而不是真正高质量。

训练集若只有“一个差回答和一个明显好回答”，RM 可能只学会表面线索；
部署时遇到两个都很强、差异很细的回答就会失准。

### 3.6 奖励模型账：代理目标的力量和危险来自同一处

reward model 把开放式判断压成一个可微标量，policy 因而能在没有唯一参考答案时继续优化。
但 policy 会主动寻找 RM 的高分区域，而这些区域可能远离 RM 的训练分布。

重要检查：

- in-distribution pair accuracy；
- hard / OOD / adversarial pairs；
- 长度、格式、拒答等 shortcut；
- calibration 与多人分歧；
- gold human evaluation 随 KL / optimization strength 的曲线；
- reward ensemble 或 uncertainty。

RewardBench 是对 RM 本身的测试入口，不是最终 assistant 质量的充分证明。

### 3.7 策略优化账：PPO 不是 RLHF 的同义词

PPO 的 clipped surrogate 限制单次 importance ratio：

```text
min(
  ρ_t A_t,
  clip(ρ_t, 1-ε, 1+ε) A_t
)
```

LLM RLHF 的完整系统还常包含：

- actor / policy；
- reference policy；
- reward model；
- critic / value；
- rollout engine；
- GAE / return；
- token mask、长度处理、KL controller；
- 可选 pretraining gradient。

RLOO、GRPO 等方法可省去 learned critic，但不因此自动解决 reward misspecification。

### 3.8 直接偏好账：算法名字先归到角色合同

| 方法 | 数据 | 显式 RM | Reference | 核心角色 |
|---|---|---:|---:|---|
| DPO | chosen/rejected pair | 否 | 是 | policy/reference log-ratio 分类 |
| IPO | pair | 否 | 是 | 回归到有限偏好 margin |
| KTO | desirable / undesirable 可非配对 | 否 | 通常是 | prospect-theoretic utility |
| ORPO | pair + SFT | 否 | 否 | NLL + odds-ratio penalty |
| SimPO | pair | 否 | 否 | 平均 log-prob reward + target margin |
| RRHF | ranking / 多来源候选 | 否 | 否 | 序列得分排序 |
| SLiC-HF | pair | 否 | 可选校准基线 | sequence likelihood calibration |

不能从“模型数更少”直接推出“效果更好”。2024 NeurIPS 的 DPO/PPO 解耦实验明确把
preference data、learning algorithm、reward model 和 policy prompts 分成四个变量，并发现数据质量影响最大。

### 3.9 分布账：online/offline 与 on/off-policy 是两组词

- **offline preference optimization**：固定 pair 数据训练，不随着当前 policy 更新标签；
- **online preference optimization**：当前 policy 生成新候选，再获取反馈；
- **on-policy RL**：梯度主要使用当前 policy 的 rollout；
- **off-policy / stale rollout**：行为 policy 与当前 policy 不同，需要 importance correction 或 clipping。

DPO 通常是 offline；PPO 通常需要近 on-policy rollout；K3 partial rollout 会让超长轨迹跨迭代变旧，
因此必须显式做 off-policy 稳定化。这些词描述不同轴。

### 3.10 约束账：为什么不能只追 reward

常见防线：

1. reference KL；
2. PPO ratio clipping；
3. pretraining / SFT replay；
4. response length / verbosity budget；
5. language consistency；
6. safety constraint reward；
7. rule-based verifier 优先；
8. reward ensemble / uncertainty；
9. 在线补充 policy 当前分布上的偏好数据；
10. hidden evaluator 与提交预算。

约束会产生真实 trade-off。例如语言一致性奖励可能轻微降低某些任务表现，却改善目标语言可读性；
这不是“白送”的收益。

### 3.11 失效账：高 reward 不等于高真实效用

#### Reward overoptimization

Gao et al. 使用 proxy–gold synthetic setup 展示：

```text
proxy reward 持续上升
gold reward 先上升、后饱和甚至下降
```

这是 Goodhart 风险的受控实证，不应外推成所有真实 RLHF 的统一数值曲线。

#### 长度与语气偏置

长回答更容易显得完整；礼貌、自信、分点也可能成为 shortcut。
需要 length-controlled evaluation，而不是看到 win-rate 上升就断言事实性更好。

#### 迎合

如果人更喜欢被认同，模型可能学会顺着错误前提。helpfulness、honesty 和 user approval 必须分开评测。

#### 过度拒答

只奖励“不产生危险文本”会推动模型拒绝无害请求。安全评测必须同时测 should-refuse 和 should-respond。

#### Alignment tax

RL 或偏好优化可能让某些标准能力退化。DeepSeek-V2 报告明确观察到部分 benchmark 的 alignment tax，
并通过训练策略缓解；不能只报 chat judge。

### 3.12 证据账：每个数字到底证明什么

| 证据 | 能证明 | 不能单独证明 |
|---|---|---|
| SFT loss | 模仿训练集 Token 的拟合 | 用户偏好、事实性 |
| RM pair accuracy | 在该 pair 分布上的排序 | policy 优化后的 OOD 可靠性 |
| training reward | 对当前 proxy 的优化 | 真实人类效用 |
| KL | 与 reference 的分布距离 | 改变是好是坏 |
| LLM judge win-rate | 该 judge/rubric 下的相对偏好 | 无偏人类共识 |
| blind human eval | 特定人群/协议下偏好 | 普适价值 |
| rule pass rate | verifier 定义的正确性 | 开放式质量与安全 |
| downstream benchmark | 指定任务能力 | 完整助手行为 |

## 4. DeepSeek：从 SFT+DPO 到多源 GRPO / GRM

### 4.1 DeepSeek LLM

官方报告公开：

- 超过 100 万 SFT instances；
- 7B 使用 4 epochs，67B 使用 2 epochs；
- helpfulness 与 harmlessness preference data；
- DPO 训练 1 epoch；
- 数学 SFT 过多会提高重复率；
- 报告把 reasoning 改善谨慎归因：SFT 可能主要注入了题型与知识，不能直接证明学会一般推理。

这是一条典型的 `base → SFT chat → DPO` 管线。

### 4.2 DeepSeek-V2

V2 把对齐管线改成：

```text
base
→ SFT
→ reasoning alignment
→ human preference alignment
```

第二阶段采用 helpful、safety 与 rule-based 多奖励；RL 使用 GRPO。
报告同时讨论：

- SFT 数量与质量；
- alignment tax；
- online RL 与 offline preference alignment 的差异；
- code preference 来自 compiler feedback，数学来自 ground-truth labels。

### 4.3 DeepSeek-V3

V3 的 post-training 包括：

- 从 expert model / DeepSeek-R1 蒸馏 reasoning data；
- 两个 epochs 的 SFT；
- rule-based RM 与 model-based RM；
- GRPO；
- generative reward model 的探索；
- 尽可能优先使用规则验证以降低 reward hacking。

官方报告给出 pretraining、context extension、post-training 的计算分账；不能把整套 V3 能力归因于 GRPO。

### 4.4 DeepSeek-R1

必须分开：

- **R1-Zero**：从 base 直接做 rule-based reasoning RL，没有初始 SFT；
- **R1**：cold-start data → reasoning RL → rejection sampling / SFT → broader RL；
- **distilled models**：只做 SFT，不等于复现 R1 的 RL 训练。

报告附录展示 helpful RM reward hacking：reward 上升而测试表现下降；也展示语言一致性 reward 的能力 trade-off。

### 4.5 DeepSeek-V3.2 / V4

V3.2 把 reasoning、agent 与 human alignment 合并进一个大规模 GRPO 阶段，
通用任务采用 generative reward model，agent/reasoning 尽量使用规则结果。

V4 的两阶段主线：

```text
SFT：高质量、多领域、能力冷启动
→ GRPO：domain-aligned behavior
```

对 hard-to-verify tasks，V4 报告明确说不再使用传统 scalar RM，而采用 rubric-guided data 与
Generative Reward Model；easy-to-verify tasks 继续用规则或测试。

## 5. Kimi：从长轨迹 RL 到 K3 多教师整合

### 5.1 Kimi K2 / K2.5

K2 公开 post-training 覆盖：

- general RL；
- self-critique rubric reward；
- verifiable reward；
- PTX 与 budget control。

K2.5 继续扩展 unified agentic RL、视觉与并行 agent，Rollout Manager 支持大规模并发任务。

这些工作已经超出“聊天回答偏好”：reward 来自执行环境、规则与生成式 rubric 的组合。

### 5.2 Kimi K3 的三阶段合同

K3 官方报告明确：

```text
Stage 1 · SFT
  建立高质量 cold-start agent policy

Stage 2 · RL experts
  general / general-agent / coding
  × low / high / max reasoning effort
  = 9 个领域-强度专家

Stage 3 · MOPD
  student on-policy rollout
  + 对应 teacher 的逐 Token log-ratio reward
  → 把九个专家整合回一个统一模型
```

MOPD 的逐 Token信号是：

```text
r_opd(y_t)
  = clip(stopgrad(log π_teacher(y_t|prefix) / π_student(y_t|prefix)),
         -R_max, R_max)
```

概念边界：

- K3 的 partial rollout 是长轨迹跨迭代产生的 off-policy 稳定性问题；
- MOPD 则在当前 student 自己访问的状态上计算 teacher signal；
- 两者可以在同一系统中共存，但不是同一种算法；
- agentic GRM 仍需 verbosity budget，报告明确把它作为防 reward hacking 的约束；
- MXFP4 QAT 从 SFT 起覆盖整个 post-training，是部署约束，不是偏好目标。

## 6. 正式一手论文链（44 个节点）

| # | 年份 | 节点 | 本章角色 | 核验入口 |
|---:|---:|---|---|---|
| 01 | 2017 | Deep RL from Human Preferences | pairwise trajectory → reward | `1706.03741` Eq.1 / Fig.1 |
| 02 | 2017 | PPO | clipped on-policy update | `1707.06347` Eq.7 |
| 03 | 2019 | Fine-Tuning LMs from Human Preferences | LM reward + KL + PPO | `1909.08593` Eq.1–2 |
| 04 | 2020 | Learning to Summarize from Human Feedback | 完整生成式 RLHF | `2009.01325` Fig.2 / Fig.5 |
| 05 | 2021 | Natural Instructions | declarative task interface | `2104.08773` |
| 06 | 2021 | FLAN | instruction-tuned zero-shot | `2109.01652` Fig.6 |
| 07 | 2021 | T0 | prompted multitask mixture | `2110.08207` Fig.2 |
| 08 | 2021 | WebGPT | browser action + preference | `2112.09332` |
| 09 | 2022 | InstructGPT | SFT → RM → PPO-ptx | `2203.02155` Fig.2 / Eq.1–2 |
| 10 | 2022 | HH-RLHF | helpful / harmless assistant | `2204.05862` |
| 11 | 2022 | Super-NaturalInstructions | 1,600+ task generalization | `2204.07705` |
| 12 | 2022 | Scaling Instruction-Finetuned LMs | Flan collection scaling | `2210.11416` |
| 13 | 2022 | Reward Model Overoptimization | proxy / gold Goodhart curve | `2210.10760` |
| 14 | 2022 | Constitutional AI | self-critique + RLAIF | `2212.08073` Fig.1 |
| 15 | 2022 | Self-Instruct | synthetic instruction bootstrap | `2212.10560` Fig.2 |
| 16 | 2023 | OpenAssistant Conversations | open conversation / ranking tree | `2304.07327` |
| 17 | 2023 | RRHF | response ranking objective | `2304.05302` |
| 18 | 2023 | SLiC-HF | sequence likelihood calibration | `2305.10425` |
| 19 | 2023 | LIMA | 1K curated SFT | `2305.11206` |
| 20 | 2023 | AlpacaFarm | feedback simulator / baselines | `2305.14387` |
| 21 | 2023 | DPO | implicit reward / direct objective | `2305.18290` Eq.5–7 |
| 22 | 2023 | RLAIF vs RLHF | human/AI label comparison | `2309.00267` |
| 23 | 2023 | UltraFeedback | scaled multi-aspect AI feedback | `2310.01377` |
| 24 | 2023 | IPO theory | finite-margin preference regression | `2310.12036` |
| 25 | 2023 | Zephyr | dSFT + AI preference dDPO | `2310.16944` Fig.2 |
| 26 | 2024 | KTO | unpaired binary feedback | `2402.01306` |
| 27 | 2024 | RLOO | critic-free REINFORCE baseline | `2402.14740` |
| 28 | 2024 | ORPO | SFT + odds-ratio single stage | `2403.07691` |
| 29 | 2024 | RewardBench | reward model evaluation | `2403.13787` Fig.1 |
| 30 | 2024 | SimPO | reference-free mean log-prob | `2405.14734` |
| 31 | 2024 | Unpacking DPO and PPO | data/algorithm/RM/prompt 四变量 | NeurIPS 2024 |
| 32 | 2024 | Tülu 3 | open SFT → DPO → RLVR recipe | `2411.15124` |
| 33 | 2024 | DeepSeek LLM | 1M+ SFT + DPO | `2401.02954` §4 |
| 34 | 2024 | DeepSeekMath | GRPO | `2402.03300` |
| 35 | 2024 | DeepSeek-V2 | SFT + two-stage GRPO alignment | `2405.04434` §4 |
| 36 | 2024 | DeepSeek-V3 | SFT / RM / GRPO / GRM | `2412.19437` §5 |
| 37 | 2025 | DeepSeek-R1 | Zero / cold-start / RL / SFT 分层 | `2501.12948` |
| 38 | 2025 | DAPO | long-CoT GRPO stabilization | `2503.14476` |
| 39 | 2025 | Kimi K2 | verifiable + generative rewards | `2507.20534` |
| 40 | 2025 | DeepSeek-V3.2 | merged reasoning/agent/alignment RL | `2512.02556` §3 |
| 41 | 2026 | Kimi K2.5 | unified multimodal/agentic RL | `2602.02276` |
| 42 | 2026 | DeepSeek-V4 | SFT + GRPO + GRM | `2606.19348` §5 |
| 43 | 2026 | MOPD | multi-teacher on-policy distillation | `2606.30406` |
| 44 | 2026 | Kimi K3 | 9 experts → MOPD / 1M agentic RL | `2607.24653` §4 |

## 7. 常见误解清单

1. **“SFT 改了 next-token 目标”**：通常仍是 next-token cross-entropy，只是条件与训练分布变了。
2. **“chosen 就是完美答案”**：pair 只保证 chosen 相对更受偏好，可能两者都差。
3. **“reward model 学到了人类价值”**：它拟合特定标签者、rubric、候选分布下的比较。
4. **“PPO 就是 RLHF”**：PPO 只是 policy optimizer；RLHF 还含反馈、RM、reference、rollout 和评测。
5. **“DPO 不需要 reward”**：它不训练显式 RM，但偏好 pair 与隐式 reward 假设仍在。
6. **“DPO 永远比 PPO 好”**：数据质量、online sampling、RM、prompt 分布和实现可改变结论。
7. **“RLAIF 没有人类参与”**：原则、rubric、teacher 训练与最终评测仍来自人类选择。
8. **“规则奖励不会被 hack”**：解析器、测试覆盖、沙箱和提交预算都可能有漏洞。
9. **“训练 reward 上升就是模型更好”**：必须看 gold/human/environment outcome 与 KL。
10. **“RLVR 与 RLHF 是两代技术”**：开放任务可用偏好，数学/代码可用 verifier，现代系统混合两者。
11. **“R1-Zero 就是 DeepSeek-R1”**：正式 R1 还有 cold start、SFT、多阶段 RL 与蒸馏。
12. **“K3 MOPD 是普通离线蒸馏”**：student 在自己的 rollout 状态上接收对应 teacher 的逐 Token 信号。

## 8. 页面与交互验收合同

### 8.1 正文

- 20–22 个正文区段；
- 十二张账；
- 至少 44 个正式一手节点；
- DeepSeek LLM → V2 → V3 → R1 → V3.2 → V4 完整主线；
- Kimi K2 → K2.5 → K3 完整主线；
- 所有机制图为原创 HTML/CSS/SVG 示意，显式标注证据边界。

### 8.2 四联实验室

1. **SFT 损失显微镜**  
   可切换 prompt masking、参考回答质量和长度；显示哪些 Token 产生梯度、NLL 与 teacher-forcing 边界。

2. **偏好与奖励模型实验**  
   调整两回答的 factuality/helpfulness/style/length、标注噪声与 reward weights；
   显示 Bradley–Terry 概率、shortcut 与“chosen 不等于绝对好”。

3. **PPO / DPO 更新控制室**  
   调 reward gap、KL/β、policy/reference log-ratio、数据新鲜度；
   分别展示显式 RM+rollout 与离线 pair 的更新合同，不伪造可比总分。

4. **现代 Post-training 配方比较器**  
   InstructGPT / Constitutional AI / DPO / DeepSeek-V2 / DeepSeek-V4 / Kimi K3；
   比较反馈源、模型组件、在线/离线、监督粒度、约束与主要失效模式。

### 8.3 工程闸门

- 键盘 tabs 与 `aria-selected`；
- 390px 移动端根页面零横向溢出；
- 交互数字标为教学模拟；
- 论文链接全部指向 canonical primary source；
- Astro check / build / internal link checker / 真实 Chrome regression 全部通过。