feat: add inference serving chapter
This commit is contained in:
@@ -54,3 +54,15 @@ Agent 首轮缓存位于 `agents/`(不提交 PDF/TXT):
|
||||
DeepSeek-VL/VL2、Janus、OCR 三分支,Kimi 三代 MoonViT、十六张问题账、55 节点正文链与四实验合同见
|
||||
`../MULTIMODAL_RESEARCH.md`;Grok Headless 候选召回只保存在
|
||||
`../MULTIMODAL_GROK_LEADS.md`,不得作为正式事实来源。
|
||||
|
||||
推理服务首轮缓存位于 `inference-serving/`(不提交 PDF/TXT):
|
||||
|
||||
- Clockwork、Orca、vLLM / PagedAttention、SGLang、Sarathi、Llumnix、Splitwise 与 DistServe;
|
||||
- speculative decoding / sampling、SpecInfer、Medusa、EAGLE / EAGLE-2 / EAGLE-3;
|
||||
- GPTQ、SmoothQuant、AWQ、KVQuant、KIVI、QServe、FlashInfer 与 Mooncake;
|
||||
- DeepSeek-V2/V3/V3.2/V4、Kimi Linear/K3 与 DeepGEMM/FlashMLA/DeepEP 复用既有报告或官方仓库缓存。
|
||||
|
||||
本轮完整校验 26 份新增 PDF/TXT;AlpaServe 只以 canonical arXiv 页面定位,未把不完整本地下载
|
||||
计入全文证据。十八本独立账、62 节点阅读链、DeepSeek 与 Kimi 服务谱系、十五组视觉合同和
|
||||
四实验合同见 `../INFERENCE_SERVING_RESEARCH.md`。Grok Headless 的 70 个候选只保存在
|
||||
`../INFERENCE_SERVING_GROK_LEADS.md`,不能越过一手来源核验进入正文。
|
||||
|
||||
Reference in New Issue
Block a user