Files

T

wuyang a54152dc24 feat: publish language model origins chapter

2026-07-29 04:47:36 +08:00

33 KiB

Raw Blame History

第 01 章研究账本：语言模型从哪里来

更新时间：2026-07-29
章节范围：从概率语言观、N-gram 与平滑，到分布式表示、RNN/LSTM、Seq2Seq 与 Attention 前夜；Transformer 只作为下一章边界。
证据原则：正式节点只接受原论文、出版社/学会页面、作者机构仓库或当前项目已缓存的官方技术报告。
教学目标：让完全没有机器学习背景的读者能回答“模型在预测什么、概率从哪里来、为什么会稀疏、向量解决了什么、循环为什么仍会忘、Attention 为什么自然出现”。

0. 先固定本章的边界

本章不是“从 1948 到 2017 的论文年表”。它沿着八张不能互相替代的账前进：

账	核心问题	常见混淆
预测单位	一次究竟预测字母、词、子词还是字符？	把 Token 当成天然语言单位
概率与信息	怎样给一段序列分配概率并衡量预测难度？	把困惑度当成理解力
上下文	条件概率能看到多远、用什么状态表示？	理论可访问与实践可记住混为一谈
稀疏性	没见过的组合为什么不能直接给零概率？	把所有 smoothing 都叫“加一”
分布式表示	相似词怎样共享统计强度？	把词向量当成上下文语义
循环记忆	怎样让一个固定大小状态携带变长历史？	把 LSTM 说成彻底解决长依赖
序列转导	一个序列怎样条件生成另一个序列？	把 Seq2Seq 与 Attention 混成一次发明
评测与成本	指标、词表与计算怎样改变可行路线？	只讲架构，不讲 Softmax 和吞吐

正文每个关键节点必须回答五句话：

旧方法撞到哪面墙；
新方法改动了哪一层；
公式最小闭环是什么；
论文实际证明了什么；
它没有证明什么。

1. 预测单位账：语言必须先变成可数事件

1.1 Shannon 1951：已知前文，猜下一个字母

正式来源：Claude E. Shannon, “Prediction and Entropy of Printed English,” Bell System Technical Journal 30(1):50–64, 1951.
DOI：https://doi.org/10.1002/j.1538-7305.1951.tb01366.x
原文证据：摘要明确说，实验是在给出 preceding text 时预测 next letter，用预测结果估计英语的熵与冗余。
正确教学表述：它是现代 next-token 叙事的概念祖先：把自然语言当作带上下文的随机符号源。
边界：Shannon 没有训练神经网络，也没有提出现代交叉熵优化目标；预测者主要是人类实验。
适合重绘：逐字符猜测游戏；上下文从 0、1、2…个字符增加时，候选分布逐渐收窄。

1.2 词级模型：单位更有语义，词表却会爆炸

词级 N-gram 把事件从字符提升为词，条件概率更贴近语法和搭配。
代价是词表大、稀有词多、未登录词 OOV 必须统一成 <unk>。
一个词被切成单一 ID 时，“猫/猫咪/小猫”不能天然共享统计。

1.3 Sennrich et al. 2016：子词是闭词表与开放词表的折中

正式来源：Rico Sennrich, Barry Haddow, Alexandra Birch, “Neural Machine Translation of Rare Words with Subword Units,” ACL 2016.
URL：https://aclanthology.org/P16-1162/
原文主张：通过 BPE 编码常见字符序列，使模型可用固定大小词表表示开放词汇，并处理稀有词与复合词。
边界：BPE 是频率驱动的切分/合并算法，不保证语义上最合理；它解决表示覆盖，不自动赋予语义。
适合重绘：从字节/字符出发，按 pair frequency 合并；展示“unbelievable”在不同词表预算下的粒度。

1.4 Kim et al. 2016：字符也可以先组合成词表示

正式来源：Yoon Kim et al., “Character-Aware Neural Language Models,” AAAI 2016 / arXiv:1508.06615.
URL：https://arxiv.org/abs/1508.06615
机制：字符 embedding → CNN → max pooling → highway network → LSTM language model。
论文证据：在论文设置中参数更少，并对形态丰富语言有效。
边界：它仍然在词级输出，不能等同于现代 byte-level decoder。

本账结论

预测目标的数学形式可以不变，但预测单位改变：

字符：词表小，序列长
词：序列短，词表巨大且有 OOV
子词：在序列长度与词表覆盖之间折中
字节：覆盖最彻底，语义粒度更细

Tokenizer 不是“预处理小工具”；它决定序列长度、词表 Softmax 成本、跨语言公平性与一个“错误”究竟在哪个粒度发生。

2. 概率与信息账：一段话为什么能拆成许多道预测题

2.1 概率链式法则

对序列 (x_{1:T})：

[ P(x_{1:T})=\prod_{t=1}^{T}P(x_t\mid x_{<t}) ]

这条恒等式不规定条件概率由什么模型算。N-gram、RNN、Transformer 都只是不同的条件分布参数化。

必须区分：

事实：联合概率可按任意顺序用链式法则分解；
建模选择：自回归 LM 选从左到右的因果顺序；
实现选择：训练时用 causal mask 同时计算多个位置；
推断选择：生成时必须把新采样的 token 放回上下文。

2.2 Shannon 1948：熵是平均不确定性，不是“混乱度”

正式来源：Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948.
DOI：https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
核心量：(H(P)=-\sum_x P(x)\log P(x))。
教学直觉：若正确事件总是很容易猜，需要的信息位数低；候选均匀且多，需要的信息位数高。
边界：信息熵不评价内容是否真实、有用或有意义。

2.3 负对数似然与交叉熵

给定真实数据分布 (P) 与模型 (Q)，交叉熵：

[ H(P,Q)=\mathbb E_{x\sim P}[-\log Q(x)] ]

在样本上最小化平均 token NLL，就是最大化正确序列似然。对 one-hot 标签而言，常说的 categorical cross-entropy 与正确 token 的负对数概率等价。

边界：

loss 降低说明模型给测试 token 的平均概率提高；
不保证它给出的解释忠实；
不保证生成样本事实正确；
数据泄漏可以让 loss 变好却没有获得可迁移能力。

2.4 困惑度：把平均 NLL 指数化

[ \text{PPL}=\exp\left(\frac{1}{T}\sum_t-\log Q(x_t\mid x_{<t})\right) ]

用自然对数时是 (e^{\text{NLL}})，用 bit cross-entropy 时是 (2^H)。

正确直觉：若模型每一步像在同样可能的 (k) 个选择中猜，PPL 约为 (k)。

严格边界：

不同 Tokenizer 的 token 粒度不同，原始 token PPL 不能直接横比；
不同预处理、词表、OOV 规则、测试集也不能直接横比；
PPL 是平均对数概率，不等于生成质量；
罕见的严重错误会被 log loss 强烈惩罚。

2.5 Jelinek et al. 1977：历史评测术语

来源：F. Jelinek et al., “Perplexity—a measure of the difficulty of speech recognition tasks,” JASA 62(S1), 1977.
DOI：https://doi.org/10.1121/1.2016299
使用方式：只作为“perplexity 一词进入语音/语言模型评测”的历史节点。
边界：这是短篇会议摘要，不能承担现代 PPL 全部理论解释。

3. 上下文账：条件分布究竟记住多少历史

3.1 有限阶 Markov 假设

完整历史 (x_{<t}) 太多，N-gram 用长度 (n-1) 的后缀替代：

[ P(x_t\mid x_{<t})\approx P(x_t\mid x_{t-n+1:t-1}) ]

这不是链式法则，而是额外假设。

它带来两个好处：

可用计数直接估计；
不同长历史只要共享后缀就能共享统计。

也带来两面墙：

(n) 小时看不见长距离；
(n) 大时组合数量指数增长，几乎所有上下文都稀疏。

3.2 Brown et al. 1992：用离散类别共享统计

正式来源：Peter F. Brown et al., “Class-Based n-gram Models of Natural Language,” Computational Linguistics 18(4), 1992.
URL：https://aclanthology.org/J92-4003/
机制：把词映射到离散类，分解成类序列概率与类内词概率。
价值：在神经词向量之前，用离散簇让相似词共享统计。
边界：一个词通常归一个离散类；不是连续 embedding，也不是上下文化表示。

3.3 固定窗口神经 LM

Bengio 2003 仍只看固定数量前词，但相似词的 embedding 让未见过的具体组合也能借到统计强度。

3.4 RNN 状态：把可变长前缀压进固定大小向量

[ h_t=f_\theta(h_{t-1}, e(x_t)),\quad P(x_{t+1}\mid x_{\le t})=\text{softmax}(Wh_t) ]

RNN 去掉了显式的固定阶数，却没有得到无限可靠记忆：所有历史必须通过同一个固定大小状态、逐步改写。

4. 稀疏性账：没有见过，不等于不可能

4.1 最大似然计数的零概率灾难

[ \hat P(w\mid h)=\frac{C(h,w)}{C(h)} ]

若测试序列含一个未见 N-gram，整段概率乘积立刻为 0，NLL 变为无穷大。真实语言组合开放，因此必须从已见事件“留出”概率质量。

4.2 Good 1953：frequency of frequencies

正式来源：I. J. Good, “The Population Frequencies of Species and the Estimation of Population Parameters,” Biometrika 40(3/4):237–264, 1953.
DOI：https://doi.org/10.1093/biomet/40.3-4.237
原文范围：物种总体频率估计，也明确提到可用于文学词汇；Good 致谢 Turing 的关键公式。
核心直觉：只出现一次的事件有多少种，比“某个事件出现了一次”更能告诉我们未见质量有多大。
边界：Good–Turing 本身不是完整语言模型；还需要上下文结构、回退或插值。

4.3 Katz 1987：高阶可靠时相信高阶，不可靠时回退

正式来源：Slava M. Katz, “Estimation of Probabilities from Sparse Data for the Language Model Component of a Speech Recognizer,” IEEE TASSP 35(3), 1987.
URL：https://ieeexplore.ieee.org/document/1165125
机制：对低计数事件折扣，把释放出的概率质量分给未见事件；未见高阶 N-gram 回退到低阶模型。
边界：backoff 不是无条件把所有阶相加；只有高阶缺失/不可靠时才转向低阶。

4.4 Kneser & Ney 1995：低阶概率应该问“能接在多少种上下文后”

正式来源：Reinhard Kneser, Hermann Ney, “Improved Backing-off for M-gram Language Modeling,” ICASSP 1995, pp. 181–184.
DOI：https://doi.org/10.1109/ICASSP.1995.479394
经典直觉：“Francisco”频率高可能几乎都来自 “San Francisco”，它不该因此在任意新上下文后都有很高 unigram 概率。
continuation count：低阶概率按一个词出现过的不同左上下文数估计。
边界：modified interpolated Kneser–Ney 是后来的实用变体，不能把全部公式归给 1995 原文。

4.5 Chen & Goodman 1996：平滑方法必须在受控实验里比较

正式来源：Stanley F. Chen, Joshua Goodman, “An Empirical Study of Smoothing Techniques for Language Modeling,” ACL 1996.
URL：https://aclanthology.org/P96-1041/
价值：跨数据规模、模型阶数与训练条件系统比较平滑方法；成为 modified Kneser–Ney 常用证据源。
边界：结论受语料、实现和版本影响，不能说某方法在所有时代/任务永远最优。

4.6 Goodman 2001：计数时代不是一条单技巧路线

正式来源：Joshua T. Goodman, “A Bit of Progress in Language Modeling,” arXiv:cs/0108005.
URL：https://arxiv.org/abs/cs/0108005
贡献：把 caching、高阶 N-gram、skipping、Kneser–Ney、clustering 等组合评估。
教学价值：提醒读者，历史最强系统往往是多个互补信号的组合，不是“神经网络突然替代一个朴素 trigram”。

5. 分布式表示账：从“精确匹配”到“相似输入共享参数”

5.1 One-hot 的问题

词 ID 经 one-hot 表示后：

任意两个不同词的距离完全相同；
“猫”和“狗”不会比“猫”和“微积分”更接近；
参数只能通过完全相同的词复用。

连续 embedding (e_w\in\mathbb R^d) 让一个词由多个维度共同表示，也让一个维度服务多个词。

5.2 Deerwester et al. 1990：全局共现矩阵的低秩空间

来源：Scott Deerwester et al., “Indexing by Latent Semantic Analysis,” JASIS 41(6):391–407, 1990.
DOI：https://doi.org/10.1002/(SICI)1097-4571(199009)41:6%3C391::AID-ASI1%3E3.0.CO;2-9
机制：词—文档矩阵经 SVD 压到低维空间。
边界：词袋式全局矩阵分解，不建模词序，也不是 next-token 训练。
正文地位：旁支桥梁，不作为主干模型。

5.3 Bengio et al. 2003：表示与语言模型一起学

正式来源：Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin, “A Neural Probabilistic Language Model,” JMLR 3:1137–1155, 2003.
URL：https://www.jmlr.org/papers/v3/bengio03a.html
旧瓶颈：离散 N-gram 的组合空间随词表和上下文长度指数增长；相似序列只因一个词不同就不能共享统计。
机制：
1. 每个上下文词查 embedding；
2. 拼接固定窗口；
3. 前馈网络输出全词表分布；
4. embedding 与概率模型端到端联合训练。
论文原词：distributed representation、curse of dimensionality。
边界：仍是固定窗口，且全词表归一化很昂贵。
适合重绘：lookup table → concat → tanh hidden → softmax；旁边画出相似词替换后输入向量只小幅移动。

5.4 Morin & Bengio 2005：输出词表也要有数据结构

正式来源：Frederic Morin, Yoshua Bengio, “Hierarchical Probabilistic Neural Network Language Model,” AISTATS 2005, PMLR R5:246–252.
URL：https://proceedings.mlr.press/r5/morin05a.html
旧瓶颈：标准 Softmax 每个训练样本都要给整个词表打分，成本与 (|V|) 线性增长。
机制：沿二叉词树做一串二分类，把输出复杂度从 (O(|V|)) 降到与路径深度相关。
论文证据：在它的 WordNet 约束层次上报告约 200 倍训练/识别加速。
边界：树结构引入归纳偏置；高频词路径和语义树质量都会影响性能。

5.5 Mikolov et al. 2013：把“学词向量”单独做得极其高效

正式来源 A：Efficient Estimation of Word Representations in Vector Space, arXiv:1301.3781.
正式来源 B：Distributed Representations of Words and Phrases and their Compositionality, NeurIPS 2013 / arXiv:1310.4546.
机制：
- CBOW：上下文预测中心词；
- Skip-gram：中心词预测邻近词；
- negative sampling：把完整归一化改成正负样本二分类近似目标；
- subsampling：降低高频词支配；
- phrase detection：学习部分多词单元。
边界：
- Word2Vec 不是完整句子 LM；
- 类比线性关系是经验现象，不是所有语义关系的保证；
- 一个词型一个静态向量，多义词仍混在一起。

5.6 GloVe 2014：局部窗口与全局计数的另一座桥

来源：Jeffrey Pennington, Richard Socher, Christopher D. Manning, “GloVe: Global Vectors for Word Representation,” EMNLP 2014.
URL：https://aclanthology.org/D14-1162/
机制：在全局共现计数上拟合加权 log-bilinear 关系。
边界：不是更深的神经语言模型；仍是静态词型表示。

本账结论

神经 LM 的关键不只是“换成神经网络”，而是参数共享方式改变：

计数 N-gram：精确符号后缀共享
类别 N-gram：离散词类共享
神经 LM：连续向量邻域共享
上下文化模型：同一 Token 还会随上下文动态改写

6. 循环记忆账：固定窗口消失了，信息瓶颈还在

6.1 Elman 1990：把上一时刻隐藏状态带到下一时刻

正式来源：Jeffrey L. Elman, “Finding Structure in Time,” Cognitive Science 14(2):179–211, 1990.
DOI：https://doi.org/10.1207/s15516709cog1402_1
机制：context units 保存上一时刻 hidden activation；网络用当前输入和旧状态预测序列。
价值：隐藏状态能形成与预测有关的结构，而非手写离散状态。
边界：实验规模小；不是现代大规模 RNNLM 的性能证据。

6.2 Mikolov et al. 2010：RNNLM 在真实语音任务上成为强模型

来源：Tomáš Mikolov et al., “Recurrent neural network based language model,” Interspeech 2010.
URL：https://www.isca-archive.org/interspeech_2010/mikolov10_interspeech.html
DOI：10.21437/Interspeech.2010-343
旧瓶颈：Bengio 前馈 LM 的上下文长度必须预先固定。
论文报告：在其混合模型与任务设置下，对比强 backoff LM 报告约 50% PPL 降低；WSJ / RT05 语音识别的 WER 相对降低约 18% / 5%。
边界：这些是特定数据、混合与解码设置的作者报告；论文也明确指出训练复杂度高。

6.3 为什么普通 RNN 学不住很远

跨 (k) 步梯度包含一串 Jacobian 乘积：

[ \frac{\partial h_t}{\partial h_{t-k}} =\prod_{i=t-k+1}^{t}\frac{\partial h_i}{\partial h_{i-1}} ]

若典型奇异值小于 1，信号指数衰减；大于 1，可能指数爆炸。激活饱和和重复矩阵乘法让问题更严重。

6.4 Bengio, Simard & Frasconi 1994：长程学习的基本困难

来源：“Learning long-term dependencies with gradient descent is difficult,” IEEE Transactions on Neural Networks 5(2), 1994.
URL：https://ieeexplore.ieee.org/document/279181
DOI：10.1109/72.279181
价值：系统阐明学习长期存储与保持梯度之间的困难。
边界：不能把它简化为一句“发现了 vanishing gradient”；它讨论的是更完整的动态与优化权衡。

6.5 LSTM 1997：给误差信号一条受控的近恒等路径

正式来源：Sepp Hochreiter, Jürgen Schmidhuber, “Long Short-Term Memory,” Neural Computation 9(8):1735–1780, 1997.
DOI：https://doi.org/10.1162/neco.1997.9.8.1735
旧瓶颈：原论文摘要称 recurrent backpropagation 的 insufficient, decaying error backflow 使长时距学习极慢。
机制直觉：cell state 提供受控的持续通道；乘法门决定何时写入、何时读出。
重要边界：课堂常见 forget / input / output 三门图包含后继改进；1997 原版没有现代默认的 forget gate。
进一步边界：LSTM 缓解梯度与记忆问题，但每个时间步仍依赖前一步，训练并行性没有解决。

6.6 Cho et al. 2014：GRU 与 encoder–decoder 同时进入主线

来源：“Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation,” EMNLP 2014 / arXiv:1406.1078.
URL：https://aclanthology.org/D14-1179/
机制：reset/update gates 控制旧状态与新候选状态混合；编码器把源序列压成定长向量，解码器条件生成。
边界：GRU 不是“理论上优于 LSTM”；它是参数与门控结构不同的替代。

本账结论

RNN 把“固定 N 个词”换成“固定大小状态”，LSTM 把状态更新变得更可控；但三件事仍没消失：

信息必须逐步走过时间；
长序列训练难并行；
所有历史竞争同一个状态容量。

7. 序列转导账：从一个概率源到“条件生成另一个序列”

7.1 语言模型与 Seq2Seq 的关系

普通 LM：

[ P(y)=\prod_tP(y_t\mid y_{<t}) ]

条件生成：

[ P(y\mid x)=\prod_tP(y_t\mid y_{<t},x) ]

训练目标仍是目标序列 next-token cross-entropy；差别是每一步还条件于源序列。

7.2 Cho et al. 2014：一个通用 encoder–decoder

encoder 逐步读入源序列；
最后状态作为定长 summary；
decoder 以 summary 为条件逐步预测目标 token。

价值：输入和输出可以不同长度，端到端学习表示与生成。

瓶颈：不论源句多长，全部信息都压在一个固定向量中。

7.3 Sutskever, Vinyals & Le 2014：深层 LSTM Seq2Seq

正式来源：“Sequence to Sequence Learning with Neural Networks,” NeurIPS 2014.
URL：https://proceedings.neurips.cc/paper_files/paper/2014/hash/5a18e133cbf9f257297f410bb7eca942-Abstract.html
机制：多层 LSTM encoder 映射到固定维向量，另一个 LSTM decoder 生成目标序列。
关键工程洞见：把源序列反转，缩短源—目标对应词之间的最小时间距离，使优化更容易。
边界：论文在特定 WMT14 英法任务上表现强，不等于固定向量瓶颈不存在；它仍是顺序模型。

7.4 Bahdanau, Cho & Bengio 2014/2015：不再要求一个向量记住全部

正式来源：“Neural Machine Translation by Jointly Learning to Align and Translate,” ICLR 2015 / arXiv 2014.
URL：https://arxiv.org/abs/1409.0473
论文动机：明确称 fixed-length vector 是基本瓶颈。
机制：每个 decoder step 根据当前状态给所有 encoder hidden states 打分，softmax 后做加权和，得到当步 context vector。
含义：过去是“先压缩再生成”；现在是“生成每一步时重新检索源序列”。
边界：这是 additive attention；仍有 RNN encoder/decoder，位置间训练依赖仍然存在。

7.5 Luong, Pham & Manning 2015：把注意力设计空间系统化

正式来源：“Effective Approaches to Attention-based Neural Machine Translation,” EMNLP 2015, pp. 1412–1421.
URL：https://aclanthology.org/D15-1166/
DOI：10.18653/v1/D15-1166
比较：global attention 看全部源词；local attention 只看预测窗口；给出 dot/general/concat 等 scoring 形式。
边界：它与 Bahdanau 的网络细节不同；也不是 Transformer 的 multi-head self-attention。

7.6 Transformer 是本章终点，不是本章内容

来源：Vaswani et al., “Attention Is All You Need,” NeurIPS 2017.
URL：https://arxiv.org/abs/1706.03762
在本章只回答：为什么 Attention 会自然成为主体——它提供直接路径和并行矩阵计算。
留给第 02 章：Q/K/V、scaled dot-product、multi-head、causal mask、position、residual、FFN。
边界：原论文是 encoder–decoder 机器翻译架构；现代 decoder-only LLM 是后续路线。

8. 评测与系统成本账：好想法必须付得起

8.1 Softmax 的词表税

标准输出：

[ P(w\mid h)=\frac{\exp(o_w)}{\sum_{v\in V}\exp(o_v)} ]

每个样本要计算/归一化整个词表。大词表下，输出层参数和计算都可能占主导。

8.2 层次 Softmax、负采样与 adaptive softmax 回答不同问题

层次 Softmax：把一个 (|V|) 类决策变成树路径上的多个二分类；
负采样：训练词表示时只更新少量正负词，不产生严格归一化的完整 LM 分布；
Adaptive Softmax：按频率与计算预算分簇，让高频词走短路径、低频词共享尾部结构。

不能把三者统称为“Softmax 加速”后就认为目标完全等价。

8.3 Grave et al. 2016：按词频分配计算

来源：Edouard Grave et al., “Efficient softmax approximation for GPUs,” arXiv:1609.04309.
URL：https://arxiv.org/abs/1609.04309
机制：利用词频长尾，把词聚成计算成本不同的簇，显式降低期望计算。
边界：是近似输出结构；收益依赖硬件、批大小、词频分布和实现。

8.4 Chelba et al. 2013：可比的十亿词基准

来源：“One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling,” arXiv:1312.3005.
URL：https://arxiv.org/abs/1312.3005
数据：接近 10 亿词。
论文报告：unpruned Kneser–Ney 5-gram 基线 PPL 67.6；组合技术相对降低 PPL 35%（交叉熵约 10%），RNN 模型最好。
边界：数字只属于该预处理、词表与 benchmark；不能拿来与不同 tokenizer 的现代 LLM 直接比。

8.5 Jozefowicz et al. 2016：在 Transformer 前夜把 RNNLM 推到大规模

来源：“Exploring the Limits of Language Modeling,” arXiv:1602.02410.
URL：https://arxiv.org/abs/1602.02410
价值：集中暴露大数据、大词表、计算与长程建模挑战，说明架构优雅之外还存在完整系统账。

8.6 Dauphin et al. 2016 与 Merity et al. 2017：历史不是一条直线

Gated convolutional LM 展示有限感受野卷积也能竞争，并带来更高并行性；
AWD-LSTM 用 DropConnect、NT-ASGD 等训练配方把 LSTM 基线显著做强；
因此 Transformer 的胜利不是“RNN 已经完全无效”，而是能力、并行性和规模化路径的综合转变。

9. 八张账合并后的最短因果链

语言可视作条件随机符号源
  ↓
链式法则把序列拆成逐步预测
  ↓
有限 N-gram 让计数可行
  ↓
组合爆炸与未见事件 → 折扣、回退、插值
  ↓
离散精确匹配仍无法跨相似词泛化
  ↓
分布式 embedding + 神经条件分布
  ↓
固定窗口 → 循环状态
  ↓
长程梯度与顺序计算 → LSTM / GRU
  ↓
条件序列生成 → encoder–decoder
  ↓
固定向量瓶颈 → 每步软检索全部源状态
  ↓
Attention 成为主体 → Transformer（下一章）

这是一条教学因果链，不是假装每位作者都按这条线直接引用前一篇。正文必须用“解决同一瓶颈的后继节点”“后见之明下的桥”而非虚构直接历史因果。

10. 当代回声：K3 与 DeepSeek 继承了什么

10.1 不变量：主干仍是因果 next-token distribution

经典自回归目标：

[ \mathcal L_\text{NTP}=-\sum_t\log P_\theta(x_t\mid x_{<t}) ]

当代变化主要发生在：

单位：128K / 160K 级子词词表与多模态 token；
上下文函数：MLA、KDA、混合注意力；
容量：稀疏 MoE；
系统：低精度、并行、通信与推测解码；
辅助目标：MTP；
后训练：SFT、偏好/RL、推理轨迹。

这些变化没有让链式法则失效。

10.2 DeepSeek-V3：NTP 主干 + 一层顺序 MTP

本地正式来源：research/sources/moe/2412.19437.txt

已核证据：

报告 §2.2 引入 Multi-Token Prediction；
顺序 MTP modules 保持 causal chain，而非若干完全独立并行头；
每个额外预测模块都有交叉熵损失，作为额外训练信号；
预训练采用 (D=1)，即在标准下一 token 之外再预测一个额外未来 token；
推理时可丢弃 MTP module，也可用于 speculative decoding；
tokenizer 是 byte-level BPE，词表 128K。

严禁写法：

“DeepSeek-V3 改成一次预测多个 token，不再 next-token”；
“MTP 保证推理时一次接受多个 token”；
“MTP 就是多模态”。

10.3 DeepSeek-V4：继承 V3 的 MTP 主线

本地正式来源：research/sources/long-context/2606.19348.txt

已核证据：

报告写明采用与 V3 相同的 MTP strategy；
继承 V3 tokenizer 与特殊 token，词表 128K；
报告给出 MTP loss weight 前期 0.3、后期 0.1 的调度。

边界：V4 的主体创新属于长上下文、注意力与系统章节；本章只把它作为训练目标历史的当代回声。

10.4 Kimi K3：统一多模态 NTP 与一层 MTP 同时存在

本地正式来源：research/sources/kimi-k3/k3_tech_report.txt

已核证据：

MoonViT-V2 从头训练，使用 next-token prediction；
视觉与文本 token 交错，在统一 next-token prediction objective 下训练；
配置表给出 160K vocabulary 和 one MTP layer；
预训练后的 MTP layer 被进一步微调为 EAGLE-3 draft，target model 冻结；
draft 与 target 都围绕 next-token distributions 工作，用于推测解码。

准确表述：

K3 把图像与文字放进同一条因果预测接口，同时保留一层 MTP 作为额外训练信号与 EAGLE-3 draft 的桥。多模态是条件/符号空间扩展，MTP 是预测跨度与推理加速扩展；二者不是一回事。

10.5 一张角色合同

角色	经典 LM	DeepSeek-V3/V4	Kimi K3
主目标	next-token NLL	next-token NLL	统一视觉/文本 next-token NLL
辅助目标	通常无	顺序 MTP，D=1	one MTP layer
推理主路径	单步自回归	可丢 MTP，仍可单步	target 仍自回归
加速桥	cache / batching	MTP 可服务 speculative decoding	MTP → EAGLE-3 draft
Tokenizer	依模型	byte-level BPE, 128K	vocabulary 160K

11. 正文论文链（首版 33 个节点）

必讲 18 节点

Shannon 1948 — entropy / source
Shannon 1951 — next-symbol predictability
Good 1953 — unseen mass
Katz 1987 — discount + backoff
Elman 1990 — recurrent state
Brown et al. 1992 — discrete class sharing
Bengio et al. 1994 — long dependency optimization
Kneser & Ney 1995 — continuation probability
Hochreiter & Schmidhuber 1997 — LSTM
Bengio et al. 2003 — neural probabilistic LM
Morin & Bengio 2005 — hierarchical output
Mikolov et al. 2010 — practical RNNLM
Mikolov et al. 2013 — word2vec
Cho et al. 2014 — GRU encoder–decoder
Sutskever et al. 2014 — Seq2Seq
Bahdanau et al. 2014/2015 — soft alignment
Sennrich et al. 2016 — subword units
Vaswani et al. 2017 — chapter boundary

地图节点 14

Jelinek et al. 1977 — perplexity term
Deerwester et al. 1990 — LSA
Chen & Goodman 1996 — smoothing benchmark
Goodman 2001 — count-LM system combination
Mikolov et al. 2013 — negative sampling / phrases
Pennington et al. 2014 — GloVe
Chelba et al. 2013 — One Billion Word benchmark
Luong et al. 2015 — global/local attention
Kim et al. 2016 — character-aware LM
Jozefowicz et al. 2016 — large RNN LM
Grave et al. 2016 — adaptive softmax
Dauphin et al. 2016 — gated convolutional LM
Merity et al. 2017 — AWD-LSTM
DeepSeek-V3/V4 reports — MTP
Kimi K3 report — unified multimodal NTP + draft bridge

12. 四个交互实验的事实合同

Lab A：N-gram 概率显微镜

可变项：阶数、未见事件、平滑强度、插值比例；
输出：逐步条件概率、sequence NLL、PPL；
必须显示：一个零概率如何让整句概率归零；
简化声明：使用手工小语料，不代表真实语言频率；
不能声称：更高阶必然更好。

Lab B：Embedding 几何

可变项：one-hot / 低维分布向量、目标词；
输出：相似度、近邻、二维投影；
必须显示：一个维度不是一个固定人类概念；
简化声明：二维坐标为教学重绘，不是从真实 Word2Vec 权重导出；
不能声称：向量距离等于真正语义。

Lab C：记忆走廊

可变项：距离、RNN retention、LSTM forget gate；
输出：信号与梯度相对强度；
必须显示：重复乘法的指数效应；
简化声明：标量 retention 是机制直觉，不是完整 Jacobian spectrum；
不能声称：LSTM 永不遗忘。

Lab D：Seq2Seq 瓶颈与 Attention 桥

可变项：源长度、目标步、固定向量/attention；
输出：信息路径长度、对齐热力图、检索权重；
必须显示：decoder 每一步可以选择不同源位置；
简化声明：对齐权重为教学示意；
不能声称：attention weight 等于因果解释。

13. 视觉重绘清单

符号源 → 条件分布 → 猜测 → surprise；
链式法则的“整句拆题”带状图；
N-gram 上下文窗口与组合数量；
unseen event 把序列概率击穿；
Good–Turing frequency-of-frequencies；
Katz backoff 决策树；
普通 unigram vs Kneser–Ney continuation count；
one-hot 正交角与 embedding 邻域；
Bengio 2003 lookup–concat–MLP–softmax；
full Softmax vs hierarchical tree；
Elman context loop；
时间展开后的梯度乘积；
LSTM cell highway 与门；
fixed vector encoder–decoder；
source reversal 缩短依赖；
Bahdanau 每步软对齐；
global / local attention；
八张账汇合到 Transformer 的总地图；
NTP / MTP / multimodal / speculative decoding 角色分离图。

所有图均原创重绘，标题注明“机制示意”或“依据原论文重绘”，不直接复制受版权保护的论文插图。

14. 事实检查清单

Shannon 1948 / 1951 DOI 与范围
Good 1953 DOI 与论文摘要
Katz 1987 IEEE 记录
Brown 1992 ACL Anthology 记录
Elman 1990 DOI
Bengio 1994 IEEE 记录
Kneser–Ney 1995 DOI / 页码
Chen–Goodman 1996 ACL 版本
LSTM 1997 MIT Press 页面
Bengio 2003 JMLR 版本与作者列表
Morin–Bengio 2005 PMLR 记录
Mikolov 2010 ISCA 记录与限定数字
Word2Vec 两篇 2013 论文分开
Cho / Sutskever / Bahdanau / Luong 版本边界
Sennrich 2016 ACL 版本
One Billion Word 数字与范围
adaptive softmax 原文摘要
K3 统一 NTP、160K、一层 MTP、EAGLE-3 draft
DeepSeek-V3 128K、D=1、MTP 可弃/可加速
DeepSeek-V4 继承 V3 MTP 与权重调度
对旧论文外链做发布前自动 HEAD/GET 检查
第二轮逐图精读 Kneser–Ney、LSTM、Bahdanau 实验表

33 KiB Raw Blame History Unescape Escape

第 01 章研究账本：语言模型从哪里来

0. 先固定本章的边界

1. 预测单位账：语言必须先变成可数事件

1.1 Shannon 1951：已知前文，猜下一个字母

1.2 词级模型：单位更有语义，词表却会爆炸

1.3 Sennrich et al. 2016：子词是闭词表与开放词表的折中

1.4 Kim et al. 2016：字符也可以先组合成词表示

本账结论

2. 概率与信息账：一段话为什么能拆成许多道预测题

2.1 概率链式法则

2.2 Shannon 1948：熵是平均不确定性，不是“混乱度”

2.3 负对数似然与交叉熵

2.4 困惑度：把平均 NLL 指数化

2.5 Jelinek et al. 1977：历史评测术语

3. 上下文账：条件分布究竟记住多少历史

3.1 有限阶 Markov 假设

3.2 Brown et al. 1992：用离散类别共享统计

3.3 固定窗口神经 LM

3.4 RNN 状态：把可变长前缀压进固定大小向量

4. 稀疏性账：没有见过，不等于不可能

4.1 最大似然计数的零概率灾难

4.2 Good 1953：frequency of frequencies

4.3 Katz 1987：高阶可靠时相信高阶，不可靠时回退

4.4 Kneser & Ney 1995：低阶概率应该问“能接在多少种上下文后”

4.5 Chen & Goodman 1996：平滑方法必须在受控实验里比较

4.6 Goodman 2001：计数时代不是一条单技巧路线

5. 分布式表示账：从“精确匹配”到“相似输入共享参数”

5.1 One-hot 的问题

5.2 Deerwester et al. 1990：全局共现矩阵的低秩空间

5.3 Bengio et al. 2003：表示与语言模型一起学

5.4 Morin & Bengio 2005：输出词表也要有数据结构

5.5 Mikolov et al. 2013：把“学词向量”单独做得极其高效

5.6 GloVe 2014：局部窗口与全局计数的另一座桥

本账结论

6. 循环记忆账：固定窗口消失了，信息瓶颈还在

6.1 Elman 1990：把上一时刻隐藏状态带到下一时刻

6.2 Mikolov et al. 2010：RNNLM 在真实语音任务上成为强模型

6.3 为什么普通 RNN 学不住很远

6.4 Bengio, Simard & Frasconi 1994：长程学习的基本困难

6.5 LSTM 1997：给误差信号一条受控的近恒等路径

6.6 Cho et al. 2014：GRU 与 encoder–decoder 同时进入主线

本账结论

7. 序列转导账：从一个概率源到“条件生成另一个序列”

7.1 语言模型与 Seq2Seq 的关系

7.2 Cho et al. 2014：一个通用 encoder–decoder

7.3 Sutskever, Vinyals & Le 2014：深层 LSTM Seq2Seq

7.4 Bahdanau, Cho & Bengio 2014/2015：不再要求一个向量记住全部

7.5 Luong, Pham & Manning 2015：把注意力设计空间系统化

7.6 Transformer 是本章终点，不是本章内容

8. 评测与系统成本账：好想法必须付得起

8.1 Softmax 的词表税

8.2 层次 Softmax、负采样与 adaptive softmax 回答不同问题

8.3 Grave et al. 2016：按词频分配计算

8.4 Chelba et al. 2013：可比的十亿词基准

8.5 Jozefowicz et al. 2016：在 Transformer 前夜把 RNNLM 推到大规模

8.6 Dauphin et al. 2016 与 Merity et al. 2017：历史不是一条直线

9. 八张账合并后的最短因果链

10. 当代回声：K3 与 DeepSeek 继承了什么

10.1 不变量：主干仍是因果 next-token distribution

10.2 DeepSeek-V3：NTP 主干 + 一层顺序 MTP

10.3 DeepSeek-V4：继承 V3 的 MTP 主线

10.4 Kimi K3：统一多模态 NTP 与一层 MTP 同时存在

10.5 一张角色合同

11. 正文论文链（首版 33 个节点）

必讲 18 节点

地图节点 14

12. 四个交互实验的事实合同

Lab A：N-gram 概率显微镜

Lab B：Embedding 几何

Lab C：记忆走廊

Lab D：Seq2Seq 瓶颈与 Attention 桥

13. 视觉重绘清单

14. 事实检查清单

33 KiB

Raw Blame History