feat: publish long-context deep dive

This commit is contained in:
wuyang
2026-07-28 22:49:04 +08:00
parent 8dc62bfaec
commit 761a75d5af
13 changed files with 2788 additions and 24 deletions
+5 -1
View File
@@ -198,7 +198,10 @@ const toc = [
<div class="formula">
cₜ = Wᶜxₜ → 缓存 cₜ → 按需上投影为各头的 K / V
<small>这是结构直觉,不是 MLA 完整公式。旋转位置编码的解耦与吸收技巧会在“长上下文”专题单独推导。</small>
<small>
这是结构直觉,不是 MLA 完整公式。旋转位置编码的解耦与吸收技巧已在
<a href="/long-context/#cache">“长上下文”专题</a>单独推导。
</small>
</div>
<h3>为什么 K3 的 MLA 不再使用位置编码</h3>
@@ -513,6 +516,7 @@ const toc = [
<div class="hero-actions">
<a class="button primary" href="https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf">打开官方 PDF</a>
<a class="button" href="https://github.com/MoonshotAI/Kimi-K3">官方代码与权重说明</a>
<a class="button" href="/long-context/#hybrids">比较 K3 与 DeepSeek-V4 长上下文</a>
<a class="button" href="/roadmap/">回到完整学习地图</a>
</div>
</section>