Clarify benchmark pass criteria and key information timing

This commit is contained in:
wuyang6
2026-11-09 11:26:55 +08:00
parent 9927a192d2
commit de46624cd1
+13 -12
View File
@@ -279,7 +279,7 @@
<th>多久得到有用结果</th>
<td>有效答案时延、任务完成时延</td>
<td>
“我查一下”与包含所需信息的答案分别计时。工具最终状态与语音告知分别验收。
“我查一下”与首个正确、相关信息的实际播放分别计时。工具最终状态与语音告知分别验收。
</td>
</tr>
<tr>
@@ -524,8 +524,8 @@
</td>
</tr>
<tr>
<th>Qwen3-Omni</th>
<td>输入音频特征约 80 ms / 步</td>
<th>Qwen3-Omni-30B-A3B</th>
<td>每帧输入表征约覆盖 80 ms 音频</td>
<td>
作者估算音频首包在并发 1 / 4 / 6 时为 234 / 728 / 1172
ms。该值属于服务端理论首包口径。[5]
@@ -704,7 +704,7 @@
<div class="figure-heading">
<div>
<span class="figure-label">FDB v3 · 2026-04 · 作者报告</span>
<h3>首次开口与有效答案的距离</h3>
<h3>首次开口与关键回答的距离</h3>
</div>
<span class="evidence-tag reported">来源报告值</span>
</div>
@@ -712,20 +712,20 @@
id="benchmark-chart"
class="benchmark-chart"
role="img"
aria-label="四种系统首次开口与有效答案时延的对照"
aria-label="四种系统首次开口与关键回答起始时延的对照"
></div>
<div class="chart-legend">
<span><i class="legend-input"></i>首次开口</span
><span><i class="legend-compute"></i>有效答案</span>
><span><i class="legend-compute"></i>关键回答开始</span>
</div>
<div class="table-wrap">
<table class="benchmark-table">
<thead>
<tr>
<th>配置</th>
<th>任务成功率</th>
<th>作者报告的 Pass@1</th>
<th>首次开口</th>
<th>有效答案</th>
<th>关键回答起始延迟</th>
<th>应答率</th>
<th>抢话率</th>
</tr>
@@ -767,14 +767,15 @@
</table>
</div>
<p class="figure-intro">
首音与有效答案为论文平均时延。抢话沿用论文的负话轮间隔口径,重叠是否合适仍需按情境判断。<a
href="https://arxiv.org/html/2604.04847v1"
>论文表 2 与表 6 ↗</a
两列时延从用户说完计时,取作者均值。关键回答的终点为关键事实或确认句开始,正确性与无应答样本的均值分母披露有限。抢话沿用负话轮间隔口径。<a
href="https://arxiv.org/pdf/2604.04847v1"
>论文表 2、表 6 与附录 A.3 ↗</a
>
</p>
</div>
<p>
两段式在这批配置中更早开口,成功率仍低于该级联基线。不同原生语音系统也表现出速度与应答覆盖率的取舍。论文将
Pass@1
沿用作者报告,核心要求工具选择与参数正确,论文另报回答质量和应答率,完整通过判据披露有限。较早开口、关键回答起始和正确完成任务需要分别评价。论文将
Ultravox 广义归入
S2S,本页依据其公开核心的音频到文本结构作两段式定位,TTS
适配的披露有限。系统级差异需要结合模型能力、话轮和部署配置解释。