feat: add inference serving chapter

This commit is contained in:
wuyang
2026-07-29 08:39:32 +08:00
parent a7492e1a59
commit db2b7d3570
25 changed files with 4178 additions and 44 deletions
+12
View File
@@ -54,3 +54,15 @@ Agent 首轮缓存位于 `agents/`(不提交 PDF/TXT):
DeepSeek-VL/VL2、Janus、OCR 三分支,Kimi 三代 MoonViT、十六张问题账、55 节点正文链与四实验合同见
`../MULTIMODAL_RESEARCH.md`Grok Headless 候选召回只保存在
`../MULTIMODAL_GROK_LEADS.md`,不得作为正式事实来源。
推理服务首轮缓存位于 `inference-serving/`(不提交 PDF/TXT):
- Clockwork、Orca、vLLM / PagedAttention、SGLang、Sarathi、Llumnix、Splitwise 与 DistServe
- speculative decoding / sampling、SpecInfer、Medusa、EAGLE / EAGLE-2 / EAGLE-3
- GPTQ、SmoothQuant、AWQ、KVQuant、KIVI、QServe、FlashInfer 与 Mooncake
- DeepSeek-V2/V3/V3.2/V4、Kimi Linear/K3 与 DeepGEMM/FlashMLA/DeepEP 复用既有报告或官方仓库缓存。
本轮完整校验 26 份新增 PDF/TXTAlpaServe 只以 canonical arXiv 页面定位,未把不完整本地下载
计入全文证据。十八本独立账、62 节点阅读链、DeepSeek 与 Kimi 服务谱系、十五组视觉合同和
四实验合同见 `../INFERENCE_SERVING_RESEARCH.md`。Grok Headless 的 70 个候选只保存在
`../INFERENCE_SERVING_GROK_LEADS.md`,不能越过一手来源核验进入正文。