feat: publish alignment deep dive

2026-07-29 06:07:42 +08:00
parent a030de41fa
commit 8378e2a741
22 changed files with 3463 additions and 35 deletions
@@ -12,6 +12,7 @@ const routes: Record<string, string> = {
  "pretraining/data": "/pretraining/data/",
  moe: "/moe/",
  "long-context": "/long-context/",
+  "post-training/alignment": "/post-training/alignment/",
  reasoning: "/reasoning/",
  "training-systems": "/training-systems/",
  "systems/numerics": "/systems/numerics/",
@@ -88,6 +89,7 @@ const paths = [
          <a class="button" href="/pretraining/data/">数据工程专题</a>
          <a class="button" href="/moe/">MoE 专题</a>
          <a class="button" href="/long-context/">长上下文专题</a>
+          <a class="button" href="/post-training/alignment/">后训练与偏好专题</a>
          <a class="button" href="/reasoning/">推理专题</a>
          <a class="button" href="/training-systems/">训练系统专题</a>
          <a class="button" href="/systems/numerics/">数值与优化专题</a>
@@ -100,7 +102,7 @@ const paths = [
        <div class="hero-stats">
          <div><b>16</b><span>核心专题</span></div>
          <div><b>151</b><span>K3 报告来源</span></div>
-          <div><b>258</b><span>关键论文索引</span></div>
+          <div><b>280</b><span>关键论文索引</span></div>
          <div><b>47p</b><span>K3 技术报告</span></div>
        </div>
      </aside>
@@ -114,6 +116,22 @@ const paths = [

  <section class="section compact release-section" id="new-chapters">
    <div class="release-grid">
+      <a class="release-card alignment-release" href="/post-training/alignment/">
+        <div>
+          <p class="eyebrow"><span>NEW / CHAPTER 10</span> ALIGNMENT · PREFERENCE</p>
+          <h2>DPO 没有“消灭 RLHF”，RLHF 也不等于只跑一次 PPO</h2>
+          <p>
+            用目标、监督、来源、SFT、偏好、奖励、更新、分布、约束、失效与证据十二张账，
+            从 2017 人类偏好学习一路走到 InstructGPT、Constitutional AI、DPO、DeepSeek-R1/V4 与 Kimi K3。
+          </p>
+        </div>
+        <dl>
+          <div><dt>LINEAGE</dt><dd>2017 → 2026</dd></div>
+          <div><dt>PAPERS</dt><dd>44 个一手节点</dd></div>
+          <div><dt>LAB</dt><dd>SFT · RM · PPO/DPO · 配方比较</dd></div>
+        </dl>
+        <span class="release-arrow" aria-hidden="true">从 Base Model 进入可协作助手 →</span>
+      </a>
      <a class="release-card transformer-release" href="/foundations/">
        <div>
          <p class="eyebrow"><span>NEW / CHAPTER 02</span> ATTENTION · TRANSFORMER</p>
@@ -491,6 +509,7 @@ const paths = [
      transition: transform 180ms ease, border-color 180ms ease;
    }

+    .alignment-release,
    .transformer-release,
    .foundation-release,
    .numerics-release,
@@ -502,6 +521,14 @@ const paths = [
      min-height: 510px;
    }

+    .alignment-release {
+      background:
+        radial-gradient(circle at 82% 18%, rgba(134, 76, 76, 0.2), transparent 30%),
+        radial-gradient(circle at 62% 74%, rgba(76, 118, 112, 0.11), transparent 28%),
+        repeating-linear-gradient(90deg, transparent 0 72px, rgba(134, 76, 76, 0.04) 72px 73px),
+        var(--paper-raised);
+    }
+
    .numerics-release {
      background:
        radial-gradient(circle at 82% 18%, rgba(113, 82, 137, 0.2), transparent 30%),
@@ -616,6 +643,7 @@ const paths = [
        padding-bottom: 76px;
      }

+      .alignment-release,
      .transformer-release,
      .foundation-release,
      .numerics-release,
@@ -15,6 +15,7 @@ const workstreams = [
  { label: "Scaling Laws", value: 74, next: "加入真实拟合复现、置信区间与更多模型族对照" },
  { label: "数据工程与预训练配方", value: 73, next: "逐图精读 FineWeb / DCLM，加入真实去重与 mixture traces" },
  { label: "DeepSeek 专题", value: 71, next: "补 R1 / DAPO 的逐图训练轨迹与复现对照" },
+  { label: "指令微调与人类偏好", value: 75, next: "加入真实偏好分歧样本、RM 长度偏置与 PPO/DPO 小模型复现" },
  { label: "推理与测试时扩展", value: 76, next: "真实模型采样曲线、PRM 案例与逐篇图表精读" },
  { label: "稀疏计算与 MoE", value: 74, next: "补充真实集群 traces 与专家特化案例" },
  { label: "长上下文专题", value: 72, next: "加入更多论文逐图笔记与真实模型配置对比" },
@@ -44,7 +45,7 @@ const workstreams = [
        <div><dt>OVERALL</dt><dd>专题平均 {average}%</dd></div>
        <div><dt>READABLE</dt><dd>{published} 个首版可读专题</dd></div>
        <div><dt>ACTIVE</dt><dd>{researching} 个研究/写作中</dd></div>
-        <div><dt>UPDATED</dt><dd>2026-07-29 05:20 CST</dd></div>
+        <div><dt>UPDATED</dt><dd>2026-07-29 05:59 CST</dd></div>
        <div><dt>MODE</dt><dd>持续迭代，不锁死版本</dd></div>
      </dl>
    </div>
@@ -54,7 +55,7 @@ const workstreams = [
    <div class="section-heading">
      <div>
        <p class="eyebrow"><span>01</span> WORKSTREAMS</p>
-        <h2>十五条工作流同时推进，但不混淆“有页面”和“已核验”</h2>
+        <h2>十六条工作流同时推进，但不混淆“有页面”和“已核验”</h2>
      </div>
      <p class="section-lead">
        内容首版优先打通全局脉络；随后每轮迭代选择一个专题推进到论文/工程层，并做独立事实复核。
@@ -91,8 +92,8 @@ const workstreams = [
      <article><span>✓</span><h3>K3 报告已结构化拆解</h3><p>47 页报告目录、151 条参考来源和架构/后训练/系统主线已经提取。</p></article>
      <article><span>✓</span><h3>16 专题知识图</h3><p>从语言模型基础到评测安全，包含先修依赖和三条贯穿案例。</p></article>
      <article><span>✓</span><h3>编辑式网站系统</h3><p>响应式导航、章节模板、侧栏、进度、论文链和证据提示组件。</p></article>
-      <article><span>✓</span><h3>三十一个原创交互视图</h3><p>K3、语言模型前史、Transformer 四联实验、DeepSeek、长上下文、MoE、推理，以及训练系统、Scaling、数据工程和数值专题。</p></article>
-      <article><span>✓</span><h3>十一篇首版长文</h3><p>K3、语言模型前史、Transformer、DeepSeek、Scaling、数据工程、长上下文、MoE、推理、训练系统与数值优化专题。</p></article>
+      <article><span>✓</span><h3>三十五个原创交互视图</h3><p>K3、语言模型前史、Transformer、DeepSeek、长上下文、MoE、推理，以及训练系统、Scaling、数据工程、数值和 Alignment 专题。</p></article>
+      <article><span>✓</span><h3>十二篇首版长文</h3><p>K3、语言模型前史、Transformer、DeepSeek、Scaling、数据工程、长上下文、MoE、后训练、推理、训练系统与数值优化专题。</p></article>
      <article><span>✓</span><h3>语言模型前史深度专题</h3><p>八张独立问题账、33 个正式节点、20 段长文与概率—向量—记忆—对齐四联实验。</p></article>
      <article><span>✓</span><h3>Transformer 深度专题</h3><p>十张独立问题账、40 个正式节点、21 段正文与 QKV—Mask—多头位置—Block 成本四联实验。</p></article>
      <article><span>✓</span><h3>Scaling Laws 深度专题</h3><p>九张账、29 个一手节点、DeepSeek/Kimi 双谱系与曲面—部署—复用—涌现四联实验。</p></article>
@@ -102,7 +103,8 @@ const workstreams = [
      <article><span>✓</span><h3>推理深度专题</h3><p>八张账、30 篇一手论文链、DeepSeek/Kimi 双主线与三页签互动实验室。</p></article>
      <article><span>✓</span><h3>训练系统深度专题</h3><p>九张账、37 个一手节点、DeepSeek/Kimi 双谱系与显存—网格—气泡—通信实验室。</p></article>
      <article><span>✓</span><h3>数值、优化器与稳定性深度专题</h3><p>十张账、36 个一手节点、K2/K3 与 DeepSeek-V3/V4 双谱系，以及格式—状态—更新—失稳四联实验。</p></article>
-      <article><span>✓</span><h3>258 篇关键论文索引</h3><p>补齐 Residual/Norm、相对位置、UniLM、多头冗余、Attention 解释争论与 NormFormer 等 11 个节点。</p></article>
+      <article><span>✓</span><h3>指令微调与人类偏好深度专题</h3><p>十二张账、44 个一手节点、DeepSeek/Kimi 后训练双谱系，以及 SFT—RM—PPO/DPO—配方四联实验。</p></article>
+      <article><span>✓</span><h3>280 篇关键论文索引</h3><p>新增人类偏好学习、HH-RLHF、LIMA、RewardBench、RLAIF、KTO、ORPO、SimPO 等 22 个后训练节点。</p></article>
      <article><span>✓</span><h3>公开仓库与自托管发布</h3><p>源码公开到 git.k1412.top，网站由不可变镜像、Compose Manager 与 HTTPS 交付。</p></article>
    </div>
  </section>
@@ -126,6 +128,7 @@ const workstreams = [
      <div><span>P1</span><strong>长上下文二轮深化</strong><p>真实模型配置 → 内核细节 → 长上下文评测与失败案例</p><em>配置比较器 + 逐图论文笔记</em></div>
      <div><span>P1</span><strong>MoE 二轮深化</strong><p>真实负载 traces → 专家特化可解释性 → 共享专家语义</p><em>案例库 + 集群证据</em></div>
      <div><span>P1</span><strong>推理二轮深化</strong><p>真实 pass@k 曲线 → PRM 失败案例 → 逐篇图表精读</p><em>案例库 + 真实 traces</em></div>
+      <div><span>P1</span><strong>Alignment 二轮深化</strong><p>真实偏好分歧 → RM 长度偏置 → PPO/DPO 小模型复现</p><em>数据案例 + 可复现实验</em></div>
      <div><span>P2</span><strong>原生多模态</strong><p>ViT/CLIP → connector VLM → Kimi-VL/MoonViT-V2</p><em>视觉 Token 流程图</em></div>
    </div>
  </section>