feat: publish numerics and optimization chapter

This commit is contained in:
wuyang
2026-07-29 04:02:56 +08:00
parent 2a74cba527
commit c21af182fb
19 changed files with 4495 additions and 34 deletions
+30 -2
View File
@@ -13,6 +13,7 @@ const routes: Record<string, string> = {
"long-context": "/long-context/",
reasoning: "/reasoning/",
"training-systems": "/training-systems/",
"systems/numerics": "/systems/numerics/",
};
const paths = [
@@ -86,6 +87,7 @@ const paths = [
<a class="button" href="/long-context/">长上下文专题</a>
<a class="button" href="/reasoning/">推理专题</a>
<a class="button" href="/training-systems/">训练系统专题</a>
<a class="button" href="/systems/numerics/">数值与优化专题</a>
</div>
</div>
<aside class="hero-aside" aria-label="项目统计">
@@ -95,20 +97,36 @@ const paths = [
<div class="hero-stats">
<div><b>16</b><span>核心专题</span></div>
<div><b>151</b><span>K3 报告来源</span></div>
<div><b>202</b><span>关键论文索引</span></div>
<div><b>223</b><span>关键论文索引</span></div>
<div><b>47p</b><span>K3 技术报告</span></div>
</div>
</aside>
</div>
<div class="scope-strip">
<span>研究范围</span>
<p>表示学习 · Transformer · Scaling · 数据工程 · MoE · 长上下文 · 训练系统 · 后训练 · 推理 · Agent · 多模态 · 服务与评测</p>
<p>表示学习 · Transformer · Scaling · 数据工程 · MoE · 长上下文 · 训练系统 · 数值优化 · 后训练 · 推理 · Agent · 多模态 · 服务与评测</p>
<a href="/progress/">查看实时进度 →</a>
</div>
</section>
<section class="section compact release-section" id="new-chapters">
<div class="release-grid">
<a class="release-card numerics-release" href="/systems/numerics/">
<div>
<p class="eyebrow"><span>NEW / CHAPTER 09</span> PRECISION · OPTIMIZATION · STABILITY</p>
<h2>少几个比特为什么省巨资,也可能让训练瞬间崩掉?</h2>
<p>
用表示、缩放、计算、累加、搬运、更新、参数化、观测、恢复与证据十张账,
从 mixed precision、BF16、FP8 和 MXFP4,一路走到 AdamW、Muon、Kimi K2/K3 与 DeepSeek-V3/V4。
</p>
</div>
<dl>
<div><dt>LINEAGE</dt><dd>2014 → 2026</dd></div>
<div><dt>PAPERS</dt><dd>36 个一手节点</dd></div>
<div><dt>LAB</dt><dd>格式 · 状态 · 更新 · 失稳</dd></div>
</dl>
<span class="release-arrow" aria-hidden="true">进入数值与优化专题 →</span>
</a>
<a class="release-card data-release" href="/pretraining/data/">
<div>
<p class="eyebrow"><span>NEW / CHAPTER 05</span> DATA & PRE-TRAINING</p>
@@ -438,6 +456,7 @@ const paths = [
transition: transform 180ms ease, border-color 180ms ease;
}
.numerics-release,
.data-release,
.scaling-release,
.training-release,
@@ -446,6 +465,14 @@ const paths = [
min-height: 510px;
}
.numerics-release {
background:
radial-gradient(circle at 82% 18%, rgba(113, 82, 137, 0.2), transparent 30%),
repeating-linear-gradient(90deg, transparent 0 64px, rgba(113, 82, 137, 0.045) 64px 65px),
repeating-linear-gradient(0deg, transparent 0 64px, rgba(76, 118, 112, 0.04) 64px 65px),
var(--paper-raised);
}
.data-release {
background:
radial-gradient(circle at 82% 18%, rgba(76, 118, 112, 0.2), transparent 30%),
@@ -536,6 +563,7 @@ const paths = [
padding-bottom: 76px;
}
.numerics-release,
.data-release,
.scaling-release,
.training-release,
+10 -5
View File
@@ -18,6 +18,7 @@ const workstreams = [
{ label: "稀疏计算与 MoE", value: 74, next: "补充真实集群 traces 与专家特化案例" },
{ label: "长上下文专题", value: 72, next: "加入更多论文逐图笔记与真实模型配置对比" },
{ label: "大规模训练系统", value: 71, next: "补真实集群 traces、故障案例与精确 topology 配置" },
{ label: "数值精度、优化器与稳定性", value: 75, next: "加入真实 kernel 吞吐、长程训练 traces 与逐图论文精读" },
{ label: "引用与事实检查", value: 57, next: "自动化外链复查与来源等级扩展" },
{ label: "开源与部署", value: 100, next: "每轮保留不可变镜像、提交与回滚点" },
];
@@ -42,7 +43,7 @@ const workstreams = [
<div><dt>OVERALL</dt><dd>专题平均 {average}%</dd></div>
<div><dt>READABLE</dt><dd>{published} 个首版可读专题</dd></div>
<div><dt>ACTIVE</dt><dd>{researching} 个研究/写作中</dd></div>
<div><dt>UPDATED</dt><dd>2026-07-29 03:01 CST</dd></div>
<div><dt>UPDATED</dt><dd>2026-07-29 03:55 CST</dd></div>
<div><dt>MODE</dt><dd>持续迭代,不锁死版本</dd></div>
</dl>
</div>
@@ -52,7 +53,7 @@ const workstreams = [
<div class="section-heading">
<div>
<p class="eyebrow"><span>01</span> WORKSTREAMS</p>
<h2>十条工作流同时推进,但不混淆“有页面”和“已核验”</h2>
<h2>十条工作流同时推进,但不混淆“有页面”和“已核验”</h2>
</div>
<p class="section-lead">
内容首版优先打通全局脉络;随后每轮迭代选择一个专题推进到论文/工程层,并做独立事实复核。
@@ -89,15 +90,16 @@ const workstreams = [
<article><span>✓</span><h3>K3 报告已结构化拆解</h3><p>47 页报告目录、151 条参考来源和架构/后训练/系统主线已经提取。</p></article>
<article><span>✓</span><h3>16 专题知识图</h3><p>从语言模型基础到评测安全,包含先修依赖和三条贯穿案例。</p></article>
<article><span>✓</span><h3>编辑式网站系统</h3><p>响应式导航、章节模板、侧栏、进度、论文链和证据提示组件。</p></article>
<article><span>✓</span><h3>二十个原创交互视图</h3><p>K3、注意力、DeepSeek、长上下文、MoE、推理,以及训练系统、Scaling数据工程的多页签实验。</p></article>
<article><span>✓</span><h3>篇首版长文</h3><p>K3、Transformer、DeepSeek、Scaling、数据工程、长上下文、MoE、推理训练系统专题。</p></article>
<article><span>✓</span><h3>二十个原创交互视图</h3><p>K3、注意力、DeepSeek、长上下文、MoE、推理,以及训练系统、Scaling数据工程和数值专题的多页签实验。</p></article>
<article><span>✓</span><h3>篇首版长文</h3><p>K3、Transformer、DeepSeek、Scaling、数据工程、长上下文、MoE、推理训练系统与数值优化专题。</p></article>
<article><span>✓</span><h3>Scaling Laws 深度专题</h3><p>九张账、29 个一手节点、DeepSeek/Kimi 双谱系与曲面—部署—复用—涌现四联实验。</p></article>
<article><span>✓</span><h3>数据工程深度专题</h3><p>十二张账、31 个一手节点、DeepSeek/Kimi 双谱系与流水线—去重—混合—改写四联实验。</p></article>
<article><span>✓</span><h3>长上下文深度专题</h3><p>五张成本账、26 篇一手论文、10+ 机制图与 8 策略交互实验室。</p></article>
<article><span>✓</span><h3>MoE 深度专题</h3><p>六张账、19 篇一手论文、DeepSeek/K3 主线与路由—容量—通信交互实验室。</p></article>
<article><span>✓</span><h3>推理深度专题</h3><p>八张账、30 篇一手论文链、DeepSeek/Kimi 双主线与三页签互动实验室。</p></article>
<article><span>✓</span><h3>训练系统深度专题</h3><p>九张账、37 个一手节点、DeepSeek/Kimi 双谱系与显存—网格—气泡—通信实验室。</p></article>
<article><span>✓</span><h3>202 篇关键论文索引</h3><p>新增数据专题标签和 20 个一手节点,继续支持全文搜索与 Kimi/DeepSeek 聚光主线。</p></article>
<article><span>✓</span><h3>数值、优化器与稳定性深度专题</h3><p>十张账、36 个一手节点、K2/K3 与 DeepSeek-V3/V4 双谱系,以及格式—状态—更新—失稳四联实验。</p></article>
<article><span>✓</span><h3>223 篇关键论文索引</h3><p>新增「优化器」标签和 21 个一手节点,继续支持全文搜索与 Kimi/DeepSeek 聚光主线。</p></article>
<article><span>✓</span><h3>公开仓库与自托管发布</h3><p>源码公开到 git.k1412.top,网站由不可变镜像、Compose Manager 与 HTTPS 交付。</p></article>
</div>
</section>
@@ -115,6 +117,7 @@ const workstreams = [
<div><span>P0</span><strong>Scaling Laws 二轮</strong><p>真实拟合复现 → 置信区间 → 更多模型族与下游任务外推</p><em>可复现实验 + 逐图笔记</em></div>
<div><span>P1</span><strong>数据工程二轮</strong><p>FineWeb / DCLM 逐图 → 真实去重误伤 → mixture traces 与污染案例</p><em>逐图笔记 + 案例库</em></div>
<div><span>P1</span><strong>大规模训练系统二轮</strong><p>真实集群 traces → 故障恢复 → 精确 topology / kernel 配置</p><em>案例库 + 实测边界</em></div>
<div><span>P1</span><strong>数值与稳定性二轮</strong><p>真实 kernel 吞吐 → 长程失稳 traces → optimizer / quantization 逐图复现</p><em>实测边界 + 逐图笔记</em></div>
<div><span>P1</span><strong>长上下文二轮深化</strong><p>真实模型配置 → 内核细节 → 长上下文评测与失败案例</p><em>配置比较器 + 逐图论文笔记</em></div>
<div><span>P1</span><strong>MoE 二轮深化</strong><p>真实负载 traces → 专家特化可解释性 → 共享专家语义</p><em>案例库 + 集群证据</em></div>
<div><span>P1</span><strong>推理二轮深化</strong><p>真实 pass@k 曲线 → PRM 失败案例 → 逐篇图表精读</p><em>案例库 + 真实 traces</em></div>
@@ -162,6 +165,8 @@ const workstreams = [
<div><time>2026-07-29</time><b>Scaling Laws 按九张账组织</b><p>把观测量、模型、数据、算术、配比、配方、外推、经济目标与能力阶段分开核算。</p></div>
<div><time>2026-07-29</time><b>数据工程按十二张账组织</b><p>把来源、解析、语言、质量、唯一性、污染、混合、变换、Tokenizer、Packing、课程与价值分开核算。</p></div>
<div><time>2026-07-29</time><b>Grok 数据线索与正式账本永久分离</b><p>1264 行正式研究账本只接受回查一手来源后的结论;203 行 Grok 产物保留为未核验发现队列。</p></div>
<div><time>2026-07-29</time><b>数值专题按十张账组织</b><p>把格式、缩放、计算、累加、搬运、更新、参数化、观测、恢复与证据经济分开核算。</p></div>
<div><time>2026-07-29</time><b>低精度结论必须写完整角色合同</b><p>对象、格式、scale 粒度、accumulator、输出与硬件不再被压缩成一个 dtype 标签。</p></div>
</div>
</section>
File diff suppressed because it is too large Load Diff