wuyang
127 lines
6.2 KiB
Markdown
127 lines
6.2 KiB
Markdown
# 语言模型前史：Grok 候选线索（未核验区）
|
||
|
||
> 生成时间：2026-07-29
|
||
> 生成方式：Grok CLI headless（`--no-subagents`）
|
||
> 状态：只用于扩大检索召回率，不作为网站正文证据。标题、年份、作者、DOI、实验数字都必须回到原论文或出版社页面核验。
|
||
> 正式证据：见 `LANGUAGE_MODEL_HISTORY_RESEARCH.md`。
|
||
|
||
## 本轮提示词要求
|
||
|
||
围绕八张彼此独立的账，寻找 40–50 个候选一手节点：
|
||
|
||
1. 预测单位：字母、词、子词、字符与大词表；
|
||
2. 概率与信息：链式法则、熵、交叉熵、困惑度；
|
||
3. 上下文：Markov / N-gram、固定窗口、循环状态；
|
||
4. 稀疏性：未见事件、折扣、回退、插值；
|
||
5. 分布式表示：共现、矩阵分解、预测式词向量；
|
||
6. 循环记忆：SRN、长程梯度、LSTM、GRU；
|
||
7. 序列转导：encoder–decoder、固定向量、软对齐；
|
||
8. 评测与成本：基准、词表 Softmax、并行性、系统约束。
|
||
|
||
每个候选需要给出“旧瓶颈、核心贡献、遗留问题、适合重绘的图、最容易误传的边界”，并单列 Kimi K3、DeepSeek-V3/V4 对 next-token prediction 与 MTP 的继承关系。
|
||
|
||
## 候选池摘要
|
||
|
||
### 概率、信息与预测
|
||
|
||
- Shannon 1948 — *A Mathematical Theory of Communication*
|
||
- Shannon 1951 — *Prediction and Entropy of Printed English*
|
||
- Jelinek et al. 1977 — *Perplexity—a measure of the difficulty of speech recognition tasks*
|
||
- Brown et al. 1992 — *Class-Based n-gram Models of Natural Language*
|
||
- Chelba et al. 2013 — *One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling*
|
||
|
||
### 稀疏性与平滑
|
||
|
||
- Good 1953 — *The Population Frequencies of Species and the Estimation of Population Parameters*
|
||
- Katz 1987 — *Estimation of Probabilities from Sparse Data for the Language Model Component of a Speech Recognizer*
|
||
- Witten & Bell 1991 — *The Zero-Frequency Problem*
|
||
- Kneser & Ney 1995 — *Improved Backing-off for M-gram Language Modeling*
|
||
- Chen & Goodman 1996/1998/1999 — *An Empirical Study of Smoothing Techniques for Language Modeling*
|
||
- Goodman 2001 — *A Bit of Progress in Language Modeling*
|
||
|
||
### 分布与表示
|
||
|
||
- Harris 1954 — *Distributional Structure*
|
||
- Firth 1957 — *A Synopsis of Linguistic Theory 1930–1955*
|
||
- Deerwester et al. 1990 — *Indexing by Latent Semantic Analysis*
|
||
- Bengio et al. 2003 — *A Neural Probabilistic Language Model*
|
||
- Morin & Bengio 2005 — *Hierarchical Probabilistic Neural Network Language Model*
|
||
- Collobert & Weston 2008 / Collobert et al. 2011
|
||
- Mikolov et al. 2013 — CBOW / Skip-gram
|
||
- Mikolov et al. 2013 — negative sampling / phrases
|
||
- Pennington et al. 2014 — GloVe
|
||
- Levy & Goldberg 2014 — SGNS as implicit matrix factorization
|
||
|
||
### 循环记忆
|
||
|
||
- Elman 1990 — *Finding Structure in Time*
|
||
- Bengio, Simard & Frasconi 1994 — *Learning long-term dependencies with gradient descent is difficult*
|
||
- Hochreiter & Schmidhuber 1997 — *Long Short-Term Memory*
|
||
- Gers, Schmidhuber & Cummins 2000 — forget gate
|
||
- Mikolov et al. 2010 — RNN language model
|
||
- Graves 2013 — recurrent sequence generation
|
||
- Cho et al. 2014 — encoder–decoder / GRU
|
||
|
||
### 序列转导与 Attention 前夜
|
||
|
||
- Kalchbrenner & Blunsom 2013 — recurrent continuous translation
|
||
- Cho et al. 2014 — RNN encoder–decoder
|
||
- Sutskever, Vinyals & Le 2014 — Seq2Seq
|
||
- Bahdanau, Cho & Bengio 2014/2015 — additive attention
|
||
- Luong, Pham & Manning 2015 — global/local attention
|
||
- Sennrich et al. 2016 — BPE for rare words
|
||
- Gehring et al. 2017 — convolutional Seq2Seq
|
||
- Vaswani et al. 2017 — Transformer（本章终点，不在本章展开）
|
||
|
||
### 词表、评测与系统成本
|
||
|
||
- Papineni et al. 2002 — BLEU
|
||
- Wu et al. 2016 — GNMT
|
||
- Jozefowicz et al. 2016 — large-scale RNN language modeling
|
||
- Grave et al. 2016 — adaptive softmax
|
||
- Press & Wolf 2016 — input/output embedding weight tying
|
||
- Dauphin et al. 2016 — gated convolutional language modeling
|
||
- Shazeer et al. 2017 — sparsely-gated MoE
|
||
- Merity et al. 2017 — AWD-LSTM
|
||
|
||
### 当代回声
|
||
|
||
- Gloeckle et al. 2024 — multi-token prediction
|
||
- DeepSeek-V3 Technical Report
|
||
- DeepSeek-V4 Technical Report
|
||
- Kimi K3 Technical Report
|
||
|
||
## Grok 输出里需要特别警惕的地方
|
||
|
||
1. 它把若干“历史联系”写成了直接因果；正式正文只称“概念桥”或“后见之明下的连续性”。
|
||
2. Brown 1992 的作者名和若干旧论文页码有拼写风险，不能照抄。
|
||
3. Chen–Goodman 有 1996 会议版、1998 技术报告和 1999 期刊版，正式引用必须固定版本。
|
||
4. 现代课堂常见的三门 LSTM 含后来的 forget gate，不能全部算到 1997 原论文。
|
||
5. Word2Vec 是词表示训练方法，不是完整句子语言模型。
|
||
6. Bahdanau additive attention 与 Transformer scaled dot-product attention 不是同一公式。
|
||
7. “RNN 理论上能看无限历史”不能写成“实践中记得无限历史”。
|
||
8. MTP 是辅助训练/推测解码桥梁，不等于取消单步自回归生成。
|
||
9. K3 的视觉与文本统一 next-token objective 和它的一层 MTP 同时存在，二者不矛盾。
|
||
10. DeepSeek-V4 的版本号、标题和细节必须以本地保存的官方技术报告为准。
|
||
|
||
## 已经被正式核准的高价值线索
|
||
|
||
- Good 1953 DOI：`10.1093/biomet/40.3-4.237`
|
||
- Elman 1990 DOI：`10.1207/s15516709cog1402_1`
|
||
- LSTM 1997 DOI：`10.1162/neco.1997.9.8.1735`
|
||
- Morin & Bengio 2005：PMLR R5:246–252
|
||
- Luong et al. 2015：ACL Anthology D15-1166，DOI `10.18653/v1/D15-1166`
|
||
- Mikolov et al. 2010：ISCA DOI `10.21437/Interspeech.2010-343`
|
||
|
||
## 留在发现队列、暂不进入正文的候选
|
||
|
||
- Firth 1957：重要但书章元数据不稳定，且不是计算模型；
|
||
- Gage 1994：BPE 压缩起源的网页副本与正式书目信息需要额外核查；
|
||
- Witten–Bell 1991：可作为平滑旁支，但会分散主线；
|
||
- Collobert 系列：更偏通用 NLP 表示，不是本章最短因果链；
|
||
- Kalchbrenner–Blunsom 2013：重要前驱，但正文空间优先给 Cho / Sutskever / Bahdanau；
|
||
- BLEU / WMT：属于序列转导评测，正文只保留边界说明；
|
||
- GNMT：系统史重要，首版暂放扩展阅读；
|
||
- Gloeckle MTP：本章当代回声可引用，MTP 机制主体仍留给推理服务章节。
|
||
|