Compare commits
2 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
 wuyang6
|
2b67436446 | ||
|
wuyang6
|
de46624cd1 |
+144
-12
@@ -279,7 +279,7 @@
|
||||
<th>多久得到有用结果</th>
|
||||
<td>有效答案时延、任务完成时延</td>
|
||||
<td>
|
||||
“我查一下”与包含所需信息的答案分别计时。工具最终状态与语音告知分别验收。
|
||||
“我查一下”与首个正确、相关信息的实际播放分别计时。工具最终状态与语音告知分别验收。
|
||||
</td>
|
||||
</tr>
|
||||
<tr>
|
||||
@@ -524,8 +524,8 @@
|
||||
</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<th>Qwen3-Omni</th>
|
||||
<td>输入音频特征约 80 ms / 步</td>
|
||||
<th>Qwen3-Omni-30B-A3B</th>
|
||||
<td>每帧输入表征约覆盖 80 ms 音频</td>
|
||||
<td>
|
||||
作者估算音频首包在并发 1 / 4 / 6 时为 234 / 728 / 1172
|
||||
ms。该值属于服务端理论首包口径。[5]
|
||||
@@ -704,7 +704,7 @@
|
||||
<div class="figure-heading">
|
||||
<div>
|
||||
<span class="figure-label">FDB v3 · 2026-04 · 作者报告</span>
|
||||
<h3>首次开口与有效答案的距离</h3>
|
||||
<h3>首次开口与关键回答的距离</h3>
|
||||
</div>
|
||||
<span class="evidence-tag reported">来源报告值</span>
|
||||
</div>
|
||||
@@ -712,20 +712,24 @@
|
||||
id="benchmark-chart"
|
||||
class="benchmark-chart"
|
||||
role="img"
|
||||
aria-label="四种系统首次开口与有效答案时延的对照"
|
||||
aria-label="四种系统首次开口与关键回答起始时延的对照"
|
||||
></div>
|
||||
<div class="chart-legend">
|
||||
<span><i class="legend-input"></i>首次开口</span
|
||||
><span><i class="legend-compute"></i>有效答案</span>
|
||||
><span><i class="legend-compute"></i>关键回答开始</span>
|
||||
</div>
|
||||
<div class="benchmark-missing">
|
||||
<strong>GPT-Live-1</strong>
|
||||
<span>原始论文尚无该配置的两项时延，补充数据见下方。</span>
|
||||
</div>
|
||||
<div class="table-wrap">
|
||||
<table class="benchmark-table">
|
||||
<thead>
|
||||
<tr>
|
||||
<th>配置</th>
|
||||
<th>任务成功率</th>
|
||||
<th>作者报告的 Pass@1</th>
|
||||
<th>首次开口</th>
|
||||
<th>有效答案</th>
|
||||
<th>关键回答起始延迟</th>
|
||||
<th>应答率</th>
|
||||
<th>抢话率</th>
|
||||
</tr>
|
||||
@@ -763,22 +767,120 @@
|
||||
<td>78.0%</td>
|
||||
<td>19.2%</td>
|
||||
</tr>
|
||||
<tr class="missing-data-row">
|
||||
<th>GPT-Live-1 · 补充配置</th>
|
||||
<td>见下方独立报告</td>
|
||||
<td>—</td>
|
||||
<td>—</td>
|
||||
<td>—</td>
|
||||
<td>—</td>
|
||||
</tr>
|
||||
</tbody>
|
||||
</table>
|
||||
</div>
|
||||
<p class="figure-intro">
|
||||
首音与有效答案为论文平均时延。抢话沿用论文的负话轮间隔口径，重叠是否合适仍需按情境判断。<a
|
||||
href="https://arxiv.org/html/2604.04847v1"
|
||||
>论文表 2 与表 6 ↗</a
|
||||
两列时延从用户说完计时，取作者均值。关键回答的终点为关键事实或确认句开始，正确性与无应答样本的均值分母披露有限。抢话沿用负话轮间隔口径。<a
|
||||
href="https://arxiv.org/pdf/2604.04847v1"
|
||||
>论文表 2、表 6 与附录 A.3 ↗</a
|
||||
>
|
||||
</p>
|
||||
</div>
|
||||
<p>
|
||||
两段式在这批配置中更早开口，成功率仍低于该级联基线。不同原生语音系统也表现出速度与应答覆盖率的取舍。论文将
|
||||
Pass@1
|
||||
沿用作者报告，核心要求工具选择与参数正确，论文另报回答质量和应答率，完整通过判据披露有限。较早开口、关键回答起始和正确完成任务需要分别评价。论文将
|
||||
Ultravox 广义归入
|
||||
S2S，本页依据其公开核心的音频到文本结构作两段式定位，TTS
|
||||
适配的披露有限。系统级差异需要结合模型能力、话轮和部署配置解释。
|
||||
</p>
|
||||
<h3 id="gpt-live-data">GPT-Live-1 的补充数据</h3>
|
||||
<p>
|
||||
GPT-Live-1
|
||||
已有官方评测和第三方时延数据。下表按来源、后台配置与统计口径分开列出。FDB-v1
|
||||
轮替、FDB-v3 工具任务、受控录音与电话链路各自描述不同的工作条件。
|
||||
</p>
|
||||
<div class="table-wrap">
|
||||
<table>
|
||||
<thead>
|
||||
<tr>
|
||||
<th>来源与配置</th>
|
||||
<th>公开数据</th>
|
||||
<th>测量口径</th>
|
||||
</tr>
|
||||
</thead>
|
||||
<tbody>
|
||||
<tr>
|
||||
<th>OpenAI API 发布材料<br />GPT-Live-1 + Terra（low）</th>
|
||||
<td>
|
||||
FDB-v3 工具调用 Pass@1 <strong>87.0%</strong><br />回答质量
|
||||
<strong>90.0%</strong>
|
||||
</td>
|
||||
<td>
|
||||
官方另次评测，后台配置见发布正文。与四月论文的历史配置分别呈现。<a
|
||||
href="https://openai.com/index/introducing-gpt-live-1-in-the-api/"
|
||||
>发布说明 ↗</a
|
||||
>
|
||||
</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<th>OpenAI 发布图<br />GPT-Live-1</th>
|
||||
<td>FDB-v1 轮替时延 <strong>0.798 s</strong></td>
|
||||
<td>
|
||||
从用户结束话轮到系统开始回答。该项使用 FDB-v1 协议。<a
|
||||
href="https://images.ctfassets.net/kftzwdyauwt9/6hFWb3bOFoepzg3aUx2zei/2a18b8d1372ee6c2fa937efa4daccb5f/kix.vqxcgk6pb8ef.png?fm=webp&q=90&w=3840"
|
||||
>原始发布图 ↗</a
|
||||
>
|
||||
</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<th>InteractionBench<br />GPT-Live-1 + gpt-5.5</th>
|
||||
<td>轮替回复起始中位数 <strong>1.210 s</strong></td>
|
||||
<td>
|
||||
30
|
||||
道轮替题，统计按论文规则未提前开口的回复。客户端重建时间轴，计入代理网络与缓冲。<a
|
||||
href="https://arxiv.org/html/2611.02430v1"
|
||||
>表 3、表 5 与附录 H ↗</a
|
||||
>
|
||||
</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<th>Cekura 电话评测<br />GPT-Live-1 + GPT-6 Sol（low）</th>
|
||||
<td>
|
||||
延迟 P50 / P90 / P95<br /><strong
|
||||
>2.27 / 2.72 / 2.83 s</strong
|
||||
>
|
||||
</td>
|
||||
<td>
|
||||
70 场景 × 3，共 210
|
||||
通电话。每通先求平均回复延迟，再对这些电话均值取分位数。marin
|
||||
声音，服务端轮替检测。<a
|
||||
href="https://benchmarks.cekura.ai/speech-to-speech/real-calls/gpt-live"
|
||||
>结果 ↗</a
|
||||
>
|
||||
<a
|
||||
href="https://benchmarks.cekura.ai/speech-to-speech/real-calls/methodology"
|
||||
>统计方法 ↗</a
|
||||
>
|
||||
</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<th>OpenAI 模型文档<br />GPT-Live-1 前端语音层</th>
|
||||
<td><strong>$0.05 / 分钟</strong></td>
|
||||
<td>
|
||||
按秒计费。后台模型与工具另计，整机成本需合并核算。检索日为
|
||||
2026-11-09。<a
|
||||
href="https://developers.openai.com/api/docs/models/gpt-live-1"
|
||||
>模型与计费 ↗</a
|
||||
>
|
||||
</td>
|
||||
</tr>
|
||||
</tbody>
|
||||
</table>
|
||||
</div>
|
||||
<p class="reading-note">
|
||||
本次所查资料尚缺 GPT-Live-1
|
||||
在原图同一统计口径下的首音均值与关键回答起始均值，因此原表保留空缺。
|
||||
0.798、1.210 和 2.27 秒各有独立条件，不能合并成一个统一时延排名。
|
||||
</p>
|
||||
</section>
|
||||
|
||||
<section id="higgs" class="article-section">
|
||||
@@ -1302,6 +1404,36 @@
|
||||
>LiveKit · Pipeline Types</a
|
||||
><span>检索日读取。级联、轮次式与持续双工管线的接口说明。</span>
|
||||
</li>
|
||||
<li id="source-live-launch">
|
||||
<a
|
||||
href="https://openai.com/index/introducing-gpt-live-1-in-the-api/"
|
||||
>OpenAI · GPT-Live-1 API 发布材料</a
|
||||
><span
|
||||
>2026-09-10。FDB-v3 后台配置与发布图中的工具、回答质量和 FDB-v1
|
||||
轮替指标。图表数值经视觉核对。</span
|
||||
>
|
||||
</li>
|
||||
<li id="source-interactionbench">
|
||||
<a href="https://arxiv.org/html/2611.02430v1">InteractionBench</a
|
||||
><span
|
||||
>2026-11-02，v1。表 3、表 5 与附录 H，包含具体 API
|
||||
配置、回复起始中位数与时间轴重建条件。</span
|
||||
>
|
||||
</li>
|
||||
<li id="source-cekura">
|
||||
<a
|
||||
href="https://benchmarks.cekura.ai/speech-to-speech/real-calls/gpt-live"
|
||||
>Cekura · GPT-Live-1 电话评测</a
|
||||
><span
|
||||
>检索日读取。210
|
||||
通电话及电话均值的时延分位数，统计定义见其方法页。</span
|
||||
>
|
||||
</li>
|
||||
<li id="source-live-model">
|
||||
<a href="https://developers.openai.com/api/docs/models/gpt-live-1"
|
||||
>OpenAI · GPT-Live-1 模型文档</a
|
||||
><span>检索日读取。前端语音会话计费与后台独立核算边界。</span>
|
||||
</li>
|
||||
</ol>
|
||||
</section>
|
||||
<footer class="article-footer">
|
||||
|
||||
+12
@@ -932,6 +932,18 @@ main .source-line {
|
||||
white-space: nowrap;
|
||||
font-variant-numeric: tabular-nums;
|
||||
}
|
||||
.benchmark-missing {
|
||||
display: grid;
|
||||
grid-template-columns: 120px 1fr;
|
||||
gap: 15px;
|
||||
padding: 13px 0;
|
||||
border-top: 1px solid var(--line);
|
||||
font-size: 11px;
|
||||
}
|
||||
.benchmark-missing span,
|
||||
.missing-data-row td {
|
||||
color: var(--muted);
|
||||
}
|
||||
.argument-chain {
|
||||
display: flex;
|
||||
gap: 20px;
|
||||
|
||||
Reference in New Issue
Block a user