llm-atlas/ROADMAP.md

LLM Atlas 总体研究地图

最后更新：2026-07-29

组织原则

全站采用“问题链”而不是“名词表”：

现象与直觉 → 最小数学模型 → 旧方案瓶颈 → 关键论文 → 架构图/实验 → 与后继工作的桥 → K3/DeepSeek 中的落点 → 局限与开放问题

难度分为四层：

• L0 直觉：不要求线性代数，先建立可视化心智模型。
• L1 机制：理解张量形状、训练目标与计算流程。
• L2 论文：能读关键公式、消融实验和训练配置。
• L3 工程：理解并行、通信、显存、精度与服务系统。

16 个专题

00. 导航：先看懂一张大模型地图

学习依赖、术语、读论文方法、证据等级、K3 的全局坐标。

01. 语言模型从哪里来

Shannon → N-gram → Good–Turing / Katz / Kneser–Ney → 神经概率语言模型 → 分布式词表示 → RNN/LSTM → Seq2Seq → Attention 前夜。 用“预测单位、概率信息、上下文、稀疏性、分布式表示、循环记忆、序列转导、评测与成本”八张账， 解释 next-token 目标为什么能持续到 Kimi K3 与 DeepSeek，也明确它没有自动保证事实性、忠实推理与行为对齐。

首版已发布：20 段长文、33 个正式节点、19 组原创机制图，以及概率显微镜、Embedding 几何、 循环记忆衰减、Seq2Seq 瓶颈/Attention 桥四个独立实验。正文显式分开 K3 的统一视觉/文本 NTP、 one MTP layer 与 EAGLE-3 draft bridge，并与 DeepSeek-V3/V4 的顺序 MTP 对照。

02. 注意力与 Transformer

Bahdanau Attention → Self-Attention → 原始 encoder–decoder Transformer → BERT/GPT/T5 家族 → KV/IO 效率 → DeepSeek MLA/CSA-HCA 与 Kimi KDA/AttnRes。逐项拆解 Q/K/V、缩放、Mask、 多头、位置、Residual/Norm、FFN/MoE、训练目标与推理状态。

首版已发布：十张独立问题账、40 个正式一手节点、21 段正文，以及 QKV 手算、Mask 矩阵、 多头/位置、Block/KV 成本四个独立实验。正文明确区分 2017 原作与 decoder-only LLM， 也把 Attention 权重观察与因果解释永久分开。

03. 表示层、位置与残差高速公路

BPE/SentencePiece、绝对/相对位置、RoPE/ALiBi、LayerNorm/RMSNorm、Pre-LN、SwiGLU，以及从 ResNet 到 K3 Attention Residuals 的深度信息流。

04. Scaling Laws：规模为什么有效

GPT 系列 → Kaplan scaling laws → Chinchilla compute-optimal → 数据质量与重复 → 推理时计算。区分参数、激活参数、训练 FLOPs 与能力。

05. 数据工程与预训练配方

采集、清洗、去重、质量分类、数据混合、课程学习、合成数据、污染控制；对公开报告中“没有说”的部分也明确标记。

06. 稀疏计算与 MoE

Conditional Computation → Sparsely-Gated MoE → GShard/Switch → DeepSeekMoE → LatentMoE → K3 Stable LatentMoE。重点解释路由、专家特化、负载均衡与通信。

首版已发布：以“容量、激活计算、路由、负载、通信、稳定性”六张账串起 1991–2026 的 19 篇一手论文， 包含 DeepSeekMoE / Loss-Free / LatentMoE / K3 重点推导，以及 8 种架构、4 类平衡策略的交互实验室。

07. 长上下文与高效注意力

稀疏注意力、线性注意力、FlashAttention、MQA/GQA、MLA、状态空间模型、Delta Rule、Kimi Linear/KDA、混合注意力与 1M 上下文。

首版已发布：以“计算、缓存、位置、状态容量、系统”五张账单串起 2019–2026 的 26 篇一手论文， 包含 10+ 张原创机制图和 Full MHA / Flash / GQA / MLA / DSA / KDA / K3 / DeepSeek-V4 交互比较实验。

08. 大规模训练系统

数据/张量/流水线/序列/上下文/专家并行，ZeRO，Megatron，通信重叠，容错；对比 DeepSeek DualPipe/DeepEP 与 K3 MoonEP。

09. 数值精度、优化器与稳定性

Adam/AdamW、Adafactor、μP、Muon；FP16/BF16/FP8/MXFP4、量化感知训练、缩放与误差。重点讲 DeepSeek-V3 FP8 与 K3 per-head Muon/MXFP4。

首版已发布：以“表示、缩放、计算、累加、搬运、更新、参数化、观测、恢复、证据经济”十张账串起 2014–2026 的 36 个一手节点；重点拆解 Kimi K2 MuonClip、K3 Per-Head Muon / SiTU-GLU / MXFP4 QAT， 以及 DeepSeek-V3 fine-grained FP8 与 V4 hybrid Muon / spike mitigation / FP4 QAT，并提供格式显微镜、 混合精度状态账、优化器几何与失稳控制室四个独立互动实验。

10. 指令微调与人类偏好

Instruction Tuning、SFT、RLHF/PPO、RLAIF、Constitutional AI、DPO 及其后续。解释 base model 如何变成可协作助手。

首版已发布：以目标、监督单位、数据来源、SFT、偏好测量、奖励模型、策略更新、直接偏好、 分布、约束、失效与证据十二张账，串起 2017–2026 的 44 个一手节点。正文明确区分 SFT / RM / PPO / DPO / RLAIF / RLVR 的角色合同，重点追踪 DeepSeek LLM→V2→V3→R1→V3.2→V4 与 Kimi K2→K2.5→K3，并提供 SFT 显微镜、偏好/RM、PPO/DPO 更新和配方比较四个独立实验。

11. 推理模型与测试时扩展

CoT、自洽性、搜索、验证器、过程奖励、GRPO、DeepSeekMath、DeepSeek-R1/R1-Zero、Kimi k1.5、multi-effort RL 与 on-policy distillation。

12. 工具使用与长程 Agent

WebGPT、Toolformer、ReAct、Reflexion、代码 Agent、Computer Use、环境奖励、可验证任务、沙箱、百万 Token 轨迹与 K3 Agentic RL。

13. 原生多模态

ViT/CLIP → Flamingo/BLIP-2/LLaVA → 原生多模态与视频；Kimi-VL、MoonViT-V2 和“视觉进入同一主干”的意义。

14. 推理服务与低成本部署

KV Cache、PagedAttention/vLLM、连续批处理、推测解码、Prefill/Decode 解耦、前缀缓存、集群调度；Mooncake 与 K3 KDA-aware serving。

15. 评测、安全与“到底强不强”

困惑度到 MMLU/GPQA/HLE，SWE-bench、OSWorld、BrowseComp；污染、harness、工具预算、LLM-as-a-judge、选择性报告与网络安全边界。

三条贯穿式案例

1. Kimi K3 解剖：把上述全部专题重新汇总到一张架构与训练系统图。
2. DeepSeek 技术谱系：DeepSeek LLM → DeepSeekMoE → V2/MLA → V3/FP8/MTP/DualPipe → Math/GRPO → R1 → V3.2/DSA → V4 长上下文。
3. “一个 Token 的旅行”：从文本分词，经注意力、MoE、GPU 集群、后训练，再到线上推理与工具调用。

完成标准

每个专题至少包含：

• 1 条清晰问题链；
• 8–20 篇一手论文；
• 2 个以上可缩放架构图；
• 1 个交互演示或逐步动画；
• 1 个“常见误解”区；
• 1 个 K3 与 DeepSeek 对照落点；
• 所有外部事实的可点击来源、研究截止日期与证据等级；
• 独立技术复核与链接检查。