feat: publish long-context deep dive
This commit is contained in:
@@ -198,7 +198,10 @@ const toc = [
|
||||
|
||||
<div class="formula">
|
||||
cₜ = Wᶜxₜ → 缓存 cₜ → 按需上投影为各头的 K / V
|
||||
<small>这是结构直觉,不是 MLA 完整公式。旋转位置编码的解耦与吸收技巧会在“长上下文”专题单独推导。</small>
|
||||
<small>
|
||||
这是结构直觉,不是 MLA 完整公式。旋转位置编码的解耦与吸收技巧已在
|
||||
<a href="/long-context/#cache">“长上下文”专题</a>单独推导。
|
||||
</small>
|
||||
</div>
|
||||
|
||||
<h3>为什么 K3 的 MLA 不再使用位置编码</h3>
|
||||
@@ -513,6 +516,7 @@ const toc = [
|
||||
<div class="hero-actions">
|
||||
<a class="button primary" href="https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf">打开官方 PDF</a>
|
||||
<a class="button" href="https://github.com/MoonshotAI/Kimi-K3">官方代码与权重说明</a>
|
||||
<a class="button" href="/long-context/#hybrids">比较 K3 与 DeepSeek-V4 长上下文</a>
|
||||
<a class="button" href="/roadmap/">回到完整学习地图</a>
|
||||
</div>
|
||||
</section>
|
||||
|
||||
Reference in New Issue
Block a user