wuyang
5.6 KiB
5.6 KiB
Alignment：Grok 候选论文线索
状态：未核验候选账
生成方式：本机 Grok CLI Headless 模式，2026-07-29
使用约束：这里只记录检索线索，不能直接作为正文事实、公式、数字或历史结论的依据。正式内容必须回到论文 PDF、会议页面或研究机构原文逐项核验。
这次线索检索的用途
正式研究账本已经覆盖 SFT、偏好数据、奖励模型、PPO/RLHF、RLAIF、DPO、RLVR、DeepSeek 与 Kimi/K3。Grok 的任务不是替正文写作，而是做一次“漏项扫描”：寻找可能缺失的论文分支、失败模式和边界案例。
它给出 45 个候选条目，按下列九组组织：
| 候选组 | 条目数 | 对正式研究最有价值的提醒 |
|---|---|---|
| SFT | 6 | FLAN、T0、Natural Instructions、SuperNI、Self-Instruct、LIMA 需要区分任务泛化、数据生成与少量高质量示范 |
| 偏好 / 奖励模型 | 5 | 不只看标注规模，也要检查偏好分歧、长度相关性和奖励泛化 |
| PPO / RLHF | 6 | Christiano → Ziegler → Stiennon → InstructGPT 的主线应与 PPO 算法本体分开 |
| RLAIF | 4 | Constitutional AI、自我批评修订与 AI preference 不是同一层概念 |
| DPO 分支 | 8 | RRHF、SLiC-HF、IPO、KTO、ORPO、SimPO 等不能笼统称作“DPO 小改版” |
| 失败模式 | 5 | reward hacking、overoptimization、sycophancy、verbosity bias 应拆成不同故障 |
| RLVR | 4 | PRM 是前驱但不等于程序化 verifier；DeepSeekMath 的 GRPO 与具体奖励来源要分开 |
| DeepSeek | 4 | LLM、Math、V3、R1 的角色不同，不能把 R1-Zero 的纯 RL 结论外推到完整 R1 |
| Kimi | 3 | k1.5、K2、K2.5 的推理、agentic、多模态主线不同 |
候选清单
以下名称保留为后续查漏入口；存在重复跨组复用，不代表 45 篇互不重复的唯一论文。
SFT 与指令数据
- Finetuned Language Models Are Zero-Shot Learners（FLAN）
- Multitask Prompted Training Enables Zero-Shot Task Generalization（T0）
- Natural Instructions
- Super-NaturalInstructions
- Scaling Instruction-Finetuned Language Models
- Self-Instruct
- LIMA: Less Is More for Alignment
偏好、奖励模型与 RLHF
- Deep Reinforcement Learning from Human Preferences
- Fine-Tuning Language Models from Human Preferences
- Learning to Summarize from Human Feedback
- Training Language Models to Follow Instructions with Human Feedback
- Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
- Proximal Policy Optimization Algorithms
- Scaling Laws for Reward Model Overoptimization
- AlpacaFarm
- OpenAssistant Conversations
- Llama 2: Open Foundation and Fine-Tuned Chat Models
- Back to Basics: Revisiting REINFORCE-Style Optimization for Learning from Human Feedback in LLMs
RLAIF 与宪法式约束
- Constitutional AI: Harmlessness from AI Feedback
- RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
- UltraFeedback
- Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models
直接偏好优化分支
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model
- RRHF: Rank Responses to Align Language Models with Human Feedback
- SLiC-HF: Sequence Likelihood Calibration with Human Feedback
- A General Theoretical Paradigm to Understand Learning from Human Preferences（IPO）
- KTO: Model Alignment as Prospect Theoretic Optimization
- ORPO: Monolithic Preference Optimization without Reference Model
- SimPO: Simple Preference Optimization with a Reference-Free Reward
- Zephyr: Direct Distillation of LM Alignment
- Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback
失败模式与评测
- Sycophancy / 用户信念迎合相关研究
- A Long Way to Go: Investigating Length Correlations in RLHF
- RewardBench
- reward overoptimization / Goodhart 效应相关研究
- 偏好标注分歧、both-bad pair 与 verbosity bias 相关研究
RLVR、DeepSeek 与 Kimi
- Let’s Verify Step by Step
- Tülu 3: Pushing Frontiers in Open Language Model Post-Training
- DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
- Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains
- DeepSeek LLM
- DeepSeek-V3 Technical Report
- DeepSeek-R1
- Kimi k1.5
- Kimi K2
- Kimi K2.5
必须保留的边界提醒
- “偏好更长”不能直接写成人类真正想要冗长答案；奖励模型可能只学到了长度代理特征。
- sycophancy 不完全等于撒谎，它可能来自 helpfulness、agreeableness 与偏好标签的纠缠。
- 人类标注的步骤正确性不等于程序可验证奖励，PRM 只能作为 RLVR 前驱来讲。
- DeepSeekMath 同时讨论模型奖励与规则奖励；“用了 GRPO”不能反推出“奖励一定可验证”。
- R1-Zero 的少监督 / 纯 RL 路径不能外推为完整 DeepSeek-R1 不需要冷启动与监督数据。
- Kimi K2、K2.5 的 agentic / multimodal 叙事不能替代 k1.5 的推理 RL 算法细节。
- “DPO 不需要奖励模型”仅指不单独训练显式 RM 并运行 PPO；偏好、参考策略与数据分布仍然存在。
当前裁决
- 已进入正式账本：有一手 PDF 或官方页面支撑、且边界已经逐项复核的节点。
- 暂留候选：
Crossing the Reward Bridge、具体 sycophancy 论文、长度相关论文等，需要在对应专题扩写时重新核对标题、版本、实验设定和数字。 - 明确不采用：任何仅凭二手叙事得出的“某算法彻底取代另一算法”“纯 RL 不再需要数据”“AI feedback 等于没有人类价值输入”等强结论。