wuyang6
43 lines
2.8 KiB
Markdown
43 lines
2.8 KiB
Markdown
# 模型时延实验室 / Latency Lab
|
|
|
|
公开模型时延对照与对话系统流程估算器。资料截止 **2026-11-06**。
|
|
|
|
- 58条带出处的性能记录，区分公开报告、理论时延、条件化结果和未知数据。
|
|
- 文本、原生语音、TTS组件对照；参数规模、激活参数、硬件、精度、输入长度和并发条件。
|
|
- 可编辑的有向流程：串行、多层级联、并行分支、全部/任一汇总、首包/文本块/完整结果触发。
|
|
- 模型节点loop最大步数（1–100）、预计步数、每步思考与输出、上下文增长、步骤间工具等待。
|
|
- 首结果关键路径、全部目标完成、自然语音播放、持续负载RTF、共享资源调度与敏感性区间。
|
|
- 本地自动保存、JSON导入导出、CSV数据导出、专注画布和可缩放时间线。
|
|
|
|
## 本地运行
|
|
|
|
需要Node.js 24或满足Vite 8要求的Node版本。
|
|
|
|
```sh
|
|
npm ci
|
|
npm test
|
|
npm run dev
|
|
```
|
|
|
|
生产构建：`npm run build`。Docker镜像使用多阶段构建，Nginx监听8080，健康检查为`/healthz`。
|
|
|
|
## 计算边界
|
|
|
|
`src/catalog.js`保存公开来源和性能记录。`src/engine.js`保存工程估算与图调度，两者明确分开。
|
|
|
|
时间原点是用户停止说话。流式输入可以在此前持续预填充；只有尾包处理与判停等待计入后续延迟。图上禁止环路，重复调用在模型节点内部展开。并行组默认拥有独立资源，显式共享资源组按拓扑顺序串行调度。
|
|
|
|
流式连接允许提前启动下游，并保留上游最终数据对完成时间的约束。它采用平均供给率近似，不能替代逐帧背压和音素对齐仿真。RTF按预设每轮音频预算计算；模型Agent的循环工作也占用该预算，因此只用于设计负载检查。
|
|
|
|
最大步数表示预算情景，不代表任务一定成功或实际一定跑满。敏感性区间为模型与程序阶段的0.75–1.5倍变化，不是统计置信区间、p95或SLA。跨硬件倍率、首token模型、MoE与大尺寸外推均为可校准工程假设；未在本项目中执行模型硬件基准。
|
|
|
|
公开记录不能直接组成统一排行榜。未知参数量保持未知；首文本token、首音频、打断停止和RTF不混用。历史Cerebras结果不代表当前可用性。受控MTP接受数、放宽验证和纯理论数字有独立标记。
|
|
|
|
## 验证
|
|
|
|
Node测试覆盖串行/并行关键路径、任一汇总、流式完成约束、token门槛、loop上界、隐藏思考、共享资源、判停/网络边界、循环拒绝、导入验证和显存不足提示。浏览器检查桌面与移动布局及主要交互。
|
|
|
|
## 数据与许可
|
|
|
|
代码采用MIT许可。性能数字和说明由公开一手资料整理；每条记录保留来源链接，原始论文、商标及第三方资料权利属于各自作者。本仓库不分发第三方模型权重。
|