feat: publish language model origins chapter

2026-07-29 04:47:36 +08:00
parent 2997434f7f
commit a54152dc24
22 changed files with 5521 additions and 35 deletions
@@ -63,6 +63,11 @@ const toc = [
          文本先被切成 Token，Token 变成向量；自注意力让每个位置从其他位置收集信息，
          前馈网络在每个位置内部加工；残差和归一化让几十上百层能够稳定堆叠。
        </p>
+        <a class="previous-chapter" href="/foundations/language-models/">
+          <span>PREVIOUS / CHAPTER 01</span>
+          <div><b>语言模型从哪里来</b><p>如果 N-gram、Embedding、RNN/LSTM、Seq2Seq 或 Attention 的来由还不清楚，先回到完整前史。</p></div>
+          <em>返回上一章 →</em>
+        </a>
        <div class="token-journey" role="img" aria-label="一个 Token 通过 Transformer 的旅程">
          <div><span>01</span><b>Tokenizer</b><small>文字 → 离散 ID</small></div><i>→</i>
          <div><span>02</span><b>Embedding</b><small>ID → 连续向量</small></div><i>→</i>
@@ -312,6 +317,40 @@ const toc = [
  </div>

  <style>
+    .previous-chapter {
+      display: grid;
+      grid-template-columns: 150px 1fr auto;
+      gap: 22px;
+      align-items: center;
+      max-width: 940px;
+      margin: 28px 0 36px;
+      padding: 20px;
+      border: 1px solid var(--line);
+      color: var(--ink);
+    }
+
+    .previous-chapter > span {
+      color: var(--copper);
+      font: 0.62rem/1.5 var(--mono);
+    }
+
+    .previous-chapter b {
+      font-size: 0.95rem;
+    }
+
+    .previous-chapter p {
+      margin-top: 6px;
+      color: var(--muted);
+      font-size: 0.68rem;
+      line-height: 1.55;
+    }
+
+    .previous-chapter em {
+      color: var(--copper);
+      font: 0.64rem/1 var(--mono);
+      white-space: nowrap;
+    }
+
    .token-journey {
      display: grid;
      grid-template-columns: repeat(4, minmax(120px, 1fr) 24px) minmax(120px, 1fr);
@@ -563,6 +602,10 @@ const toc = [
    }

    @media (max-width: 760px) {
+      .previous-chapter {
+        grid-template-columns: 1fr;
+      }
+
      .token-journey {
        grid-template-columns: 1fr;
      }
@@ -6,6 +6,7 @@ import { chapters, statusLabel } from "@/data/chapters";

 const routes: Record<string, string> = {
  roadmap: "/roadmap/",
+  "foundations/language-models": "/foundations/language-models/",
  foundations: "/foundations/",
  scaling: "/scaling/",
  "pretraining/data": "/pretraining/data/",
@@ -79,6 +80,7 @@ const paths = [
        </p>
        <div class="hero-actions">
          <a class="button primary" href="/roadmap/">选择学习路径 <span aria-hidden="true">↓</span></a>
+          <a class="button" href="/foundations/language-models/">语言模型从哪里来</a>
          <a class="button" href="/k3/">直接解剖 K3</a>
          <a class="button" href="/deepseek/">DeepSeek 专题</a>
          <a class="button" href="/scaling/">Scaling Laws 专题</a>
@@ -97,7 +99,7 @@ const paths = [
        <div class="hero-stats">
          <div><b>16</b><span>核心专题</span></div>
          <div><b>151</b><span>K3 报告来源</span></div>
-          <div><b>223</b><span>关键论文索引</span></div>
+          <div><b>247</b><span>关键论文索引</span></div>
          <div><b>47p</b><span>K3 技术报告</span></div>
        </div>
      </aside>
@@ -111,6 +113,22 @@ const paths = [

  <section class="section compact release-section" id="new-chapters">
    <div class="release-grid">
+      <a class="release-card foundation-release" href="/foundations/language-models/">
+        <div>
+          <p class="eyebrow"><span>NEW / CHAPTER 01</span> LANGUAGE MODELING ORIGINS</p>
+          <h2>预测下一个 Token，为什么会走到今天的大模型？</h2>
+          <p>
+            用预测单位、概率信息、上下文、稀疏性、分布式表示、循环记忆、序列转导与系统成本八张账，
+            从 Shannon、N-gram、Kneser–Ney、Bengio、RNN/LSTM 一路走到 Seq2Seq、Attention 与 K3 / DeepSeek。
+          </p>
+        </div>
+        <dl>
+          <div><dt>LINEAGE</dt><dd>1948 → 2026</dd></div>
+          <div><dt>PAPERS</dt><dd>33 个一手节点</dd></div>
+          <div><dt>LAB</dt><dd>概率 · 向量 · 记忆 · 对齐</dd></div>
+        </dl>
+        <span class="release-arrow" aria-hidden="true">从语言模型的起点开始 →</span>
+      </a>
      <a class="release-card numerics-release" href="/systems/numerics/">
        <div>
          <p class="eyebrow"><span>NEW / CHAPTER 09</span> PRECISION · OPTIMIZATION · STABILITY</p>
@@ -456,6 +474,7 @@ const paths = [
      transition: transform 180ms ease, border-color 180ms ease;
    }

+    .foundation-release,
    .numerics-release,
    .data-release,
    .scaling-release,
@@ -473,6 +492,14 @@ const paths = [
        var(--paper-raised);
    }

+    .foundation-release {
+      background:
+        radial-gradient(circle at 82% 18%, rgba(159, 91, 52, 0.2), transparent 30%),
+        repeating-linear-gradient(90deg, transparent 0 72px, rgba(159, 91, 52, 0.045) 72px 73px),
+        repeating-linear-gradient(0deg, transparent 0 72px, rgba(48, 64, 82, 0.035) 72px 73px),
+        var(--paper-raised);
+    }
+
    .data-release {
      background:
        radial-gradient(circle at 82% 18%, rgba(76, 118, 112, 0.2), transparent 30%),
@@ -563,6 +590,7 @@ const paths = [
        padding-bottom: 76px;
      }

+      .foundation-release,
      .numerics-release,
      .data-release,
      .scaling-release,
@@ -10,6 +10,7 @@ const workstreams = [
  { label: "研究框架与规范", value: 83, next: "给 Scaling 与推理专题补逐篇图表/实验精读层级" },
  { label: "网站设计系统", value: 89, next: "打印样式与更多通用可视化组件" },
  { label: "Kimi K3 深读", value: 66, next: "扩写 pre-training / infra 逐图笔记" },
+  { label: "语言模型前史", value: 78, next: "逐图精读 Kneser–Ney、LSTM 与 Bahdanau，并加入真实小语料复现" },
  { label: "Transformer 基础", value: 52, next: "加入矩阵形状动画与手算练习" },
  { label: "Scaling Laws", value: 74, next: "加入真实拟合复现、置信区间与更多模型族对照" },
  { label: "数据工程与预训练配方", value: 73, next: "逐图精读 FineWeb / DCLM，加入真实去重与 mixture traces" },
@@ -43,7 +44,7 @@ const workstreams = [
        <div><dt>OVERALL</dt><dd>专题平均 {average}%</dd></div>
        <div><dt>READABLE</dt><dd>{published} 个首版可读专题</dd></div>
        <div><dt>ACTIVE</dt><dd>{researching} 个研究/写作中</dd></div>
-        <div><dt>UPDATED</dt><dd>2026-07-29 03:55 CST</dd></div>
+        <div><dt>UPDATED</dt><dd>2026-07-29 04:48 CST</dd></div>
        <div><dt>MODE</dt><dd>持续迭代，不锁死版本</dd></div>
      </dl>
    </div>
@@ -53,7 +54,7 @@ const workstreams = [
    <div class="section-heading">
      <div>
        <p class="eyebrow"><span>01</span> WORKSTREAMS</p>
-        <h2>十四条工作流同时推进，但不混淆“有页面”和“已核验”</h2>
+        <h2>十五条工作流同时推进，但不混淆“有页面”和“已核验”</h2>
      </div>
      <p class="section-lead">
        内容首版优先打通全局脉络；随后每轮迭代选择一个专题推进到论文/工程层，并做独立事实复核。
@@ -90,8 +91,9 @@ const workstreams = [
      <article><span>✓</span><h3>K3 报告已结构化拆解</h3><p>47 页报告目录、151 条参考来源和架构/后训练/系统主线已经提取。</p></article>
      <article><span>✓</span><h3>16 专题知识图</h3><p>从语言模型基础到评测安全，包含先修依赖和三条贯穿案例。</p></article>
      <article><span>✓</span><h3>编辑式网站系统</h3><p>响应式导航、章节模板、侧栏、进度、论文链和证据提示组件。</p></article>
-      <article><span>✓</span><h3>二十四个原创交互视图</h3><p>K3、注意力、DeepSeek、长上下文、MoE、推理，以及训练系统、Scaling、数据工程和数值专题的多页签实验。</p></article>
-      <article><span>✓</span><h3>十篇首版长文</h3><p>K3、Transformer、DeepSeek、Scaling、数据工程、长上下文、MoE、推理、训练系统与数值优化专题。</p></article>
+      <article><span>✓</span><h3>二十八个原创交互视图</h3><p>K3、语言模型前史、注意力、DeepSeek、长上下文、MoE、推理，以及训练系统、Scaling、数据工程和数值专题的多页签实验。</p></article>
+      <article><span>✓</span><h3>十一篇首版长文</h3><p>K3、语言模型前史、Transformer、DeepSeek、Scaling、数据工程、长上下文、MoE、推理、训练系统与数值优化专题。</p></article>
+      <article><span>✓</span><h3>语言模型前史深度专题</h3><p>八张独立问题账、33 个正式节点、20 段长文与概率—向量—记忆—对齐四联实验。</p></article>
      <article><span>✓</span><h3>Scaling Laws 深度专题</h3><p>九张账、29 个一手节点、DeepSeek/Kimi 双谱系与曲面—部署—复用—涌现四联实验。</p></article>
      <article><span>✓</span><h3>数据工程深度专题</h3><p>十二张账、31 个一手节点、DeepSeek/Kimi 双谱系与流水线—去重—混合—改写四联实验。</p></article>
      <article><span>✓</span><h3>长上下文深度专题</h3><p>五张成本账、26 篇一手论文、10+ 机制图与 8 策略交互实验室。</p></article>
@@ -99,7 +101,7 @@ const workstreams = [
      <article><span>✓</span><h3>推理深度专题</h3><p>八张账、30 篇一手论文链、DeepSeek/Kimi 双主线与三页签互动实验室。</p></article>
      <article><span>✓</span><h3>训练系统深度专题</h3><p>九张账、37 个一手节点、DeepSeek/Kimi 双谱系与显存—网格—气泡—通信实验室。</p></article>
      <article><span>✓</span><h3>数值、优化器与稳定性深度专题</h3><p>十张账、36 个一手节点、K2/K3 与 DeepSeek-V3/V4 双谱系，以及格式—状态—更新—失稳四联实验。</p></article>
-      <article><span>✓</span><h3>223 篇关键论文索引</h3><p>新增「优化器」标签和 21 个一手节点，继续支持全文搜索与 Kimi/DeepSeek 聚光主线。</p></article>
+      <article><span>✓</span><h3>247 篇关键论文索引</h3><p>新增 24 个语言模型前史节点，并把 DeepSeek-V3/V4 与 K3 映射回 next-token 主线。</p></article>
      <article><span>✓</span><h3>公开仓库与自托管发布</h3><p>源码公开到 git.k1412.top，网站由不可变镜像、Compose Manager 与 HTTPS 交付。</p></article>
    </div>
  </section>
@@ -114,6 +116,7 @@ const workstreams = [
    </div>
    <div class="queue-table">
      <div class="head"><b>优先级</b><b>专题</b><b>本轮交付</b><b>完成闸门</b></div>
+      <div><span>P0</span><strong>语言模型前史二轮</strong><p>Kneser–Ney / LSTM / Bahdanau 逐图 → 真实小语料复现 → tokenizer 公平性</p><em>可复现实验 + 逐图笔记</em></div>
      <div><span>P0</span><strong>Scaling Laws 二轮</strong><p>真实拟合复现 → 置信区间 → 更多模型族与下游任务外推</p><em>可复现实验 + 逐图笔记</em></div>
      <div><span>P1</span><strong>数据工程二轮</strong><p>FineWeb / DCLM 逐图 → 真实去重误伤 → mixture traces 与污染案例</p><em>逐图笔记 + 案例库</em></div>
      <div><span>P1</span><strong>大规模训练系统二轮</strong><p>真实集群 traces → 故障恢复 → 精确 topology / kernel 配置</p><em>案例库 + 实测边界</em></div>
@@ -167,6 +170,8 @@ const workstreams = [
      <div><time>2026-07-29</time><b>Grok 数据线索与正式账本永久分离</b><p>1264 行正式研究账本只接受回查一手来源后的结论；203 行 Grok 产物保留为未核验发现队列。</p></div>
      <div><time>2026-07-29</time><b>数值专题按十张账组织</b><p>把格式、缩放、计算、累加、搬运、更新、参数化、观测、恢复与证据经济分开核算。</p></div>
      <div><time>2026-07-29</time><b>低精度结论必须写完整角色合同</b><p>对象、格式、scale 粒度、accumulator、输出与硬件不再被压缩成一个 dtype 标签。</p></div>
+      <div><time>2026-07-29</time><b>语言模型前史按八张账组织</b><p>预测单位、概率信息、上下文、稀疏性、分布式表示、循环记忆、序列转导与系统成本不再混成单一架构年表。</p></div>
+      <div><time>2026-07-29</time><b>NTP、MTP 与多模态永久分角色</b><p>K3 的统一视觉/文本 next-token objective、one MTP layer 与 EAGLE-3 draft bridge 分开记账；DeepSeek MTP 也不写成取代自回归。</p></div>
    </div>
  </section>