Compare commits

...

2 Commits

Author SHA1 Message Date
wuyang6 2b67436446 Add GPT-Live-1 evidence with protocol and backend boundaries 2026-11-09 11:40:22 +08:00
wuyang6 de46624cd1 Clarify benchmark pass criteria and key information timing 2026-11-09 11:26:55 +08:00
2 changed files with 156 additions and 12 deletions
+144 -12
View File
@@ -279,7 +279,7 @@
<th>多久得到有用结果</th> <th>多久得到有用结果</th>
<td>有效答案时延、任务完成时延</td> <td>有效答案时延、任务完成时延</td>
<td> <td>
“我查一下”与包含所需信息的答案分别计时。工具最终状态与语音告知分别验收。 “我查一下”与首个正确、相关信息的实际播放分别计时。工具最终状态与语音告知分别验收。
</td> </td>
</tr> </tr>
<tr> <tr>
@@ -524,8 +524,8 @@
</td> </td>
</tr> </tr>
<tr> <tr>
<th>Qwen3-Omni</th> <th>Qwen3-Omni-30B-A3B</th>
<td>输入音频特征约 80 ms / 步</td> <td>每帧输入表征约覆盖 80 ms 音频</td>
<td> <td>
作者估算音频首包在并发 1 / 4 / 6 时为 234 / 728 / 1172 作者估算音频首包在并发 1 / 4 / 6 时为 234 / 728 / 1172
ms。该值属于服务端理论首包口径。[5] ms。该值属于服务端理论首包口径。[5]
@@ -704,7 +704,7 @@
<div class="figure-heading"> <div class="figure-heading">
<div> <div>
<span class="figure-label">FDB v3 · 2026-04 · 作者报告</span> <span class="figure-label">FDB v3 · 2026-04 · 作者报告</span>
<h3>首次开口与有效答案的距离</h3> <h3>首次开口与关键回答的距离</h3>
</div> </div>
<span class="evidence-tag reported">来源报告值</span> <span class="evidence-tag reported">来源报告值</span>
</div> </div>
@@ -712,20 +712,24 @@
id="benchmark-chart" id="benchmark-chart"
class="benchmark-chart" class="benchmark-chart"
role="img" role="img"
aria-label="四种系统首次开口与有效答案时延的对照" aria-label="四种系统首次开口与关键回答起始时延的对照"
></div> ></div>
<div class="chart-legend"> <div class="chart-legend">
<span><i class="legend-input"></i>首次开口</span <span><i class="legend-input"></i>首次开口</span
><span><i class="legend-compute"></i>有效答案</span> ><span><i class="legend-compute"></i>关键回答开始</span>
</div>
<div class="benchmark-missing">
<strong>GPT-Live-1</strong>
<span>原始论文尚无该配置的两项时延,补充数据见下方。</span>
</div> </div>
<div class="table-wrap"> <div class="table-wrap">
<table class="benchmark-table"> <table class="benchmark-table">
<thead> <thead>
<tr> <tr>
<th>配置</th> <th>配置</th>
<th>任务成功率</th> <th>作者报告的 Pass@1</th>
<th>首次开口</th> <th>首次开口</th>
<th>有效答案</th> <th>关键回答起始延迟</th>
<th>应答率</th> <th>应答率</th>
<th>抢话率</th> <th>抢话率</th>
</tr> </tr>
@@ -763,22 +767,120 @@
<td>78.0%</td> <td>78.0%</td>
<td>19.2%</td> <td>19.2%</td>
</tr> </tr>
<tr class="missing-data-row">
<th>GPT-Live-1 · 补充配置</th>
<td>见下方独立报告</td>
<td>—</td>
<td>—</td>
<td>—</td>
<td>—</td>
</tr>
</tbody> </tbody>
</table> </table>
</div> </div>
<p class="figure-intro"> <p class="figure-intro">
首音与有效答案为论文平均时延。抢话沿用论文的负话轮间隔口径,重叠是否合适仍需按情境判断。<a 两列时延从用户说完计时,取作者均值。关键回答的终点为关键事实或确认句开始,正确性与无应答样本的均值分母披露有限。抢话沿用负话轮间隔口径。<a
href="https://arxiv.org/html/2604.04847v1" href="https://arxiv.org/pdf/2604.04847v1"
>论文表 2 与表 6 ↗</a >论文表 2、表 6 与附录 A.3 ↗</a
> >
</p> </p>
</div> </div>
<p> <p>
两段式在这批配置中更早开口,成功率仍低于该级联基线。不同原生语音系统也表现出速度与应答覆盖率的取舍。论文将 Pass@1
沿用作者报告,核心要求工具选择与参数正确,论文另报回答质量和应答率,完整通过判据披露有限。较早开口、关键回答起始和正确完成任务需要分别评价。论文将
Ultravox 广义归入 Ultravox 广义归入
S2S,本页依据其公开核心的音频到文本结构作两段式定位,TTS S2S,本页依据其公开核心的音频到文本结构作两段式定位,TTS
适配的披露有限。系统级差异需要结合模型能力、话轮和部署配置解释。 适配的披露有限。系统级差异需要结合模型能力、话轮和部署配置解释。
</p> </p>
<h3 id="gpt-live-data">GPT-Live-1 的补充数据</h3>
<p>
GPT-Live-1
已有官方评测和第三方时延数据。下表按来源、后台配置与统计口径分开列出。FDB-v1
轮替、FDB-v3 工具任务、受控录音与电话链路各自描述不同的工作条件。
</p>
<div class="table-wrap">
<table>
<thead>
<tr>
<th>来源与配置</th>
<th>公开数据</th>
<th>测量口径</th>
</tr>
</thead>
<tbody>
<tr>
<th>OpenAI API 发布材料<br />GPT-Live-1 + Terra(low)</th>
<td>
FDB-v3 工具调用 Pass@1 <strong>87.0%</strong><br />回答质量
<strong>90.0%</strong>
</td>
<td>
官方另次评测,后台配置见发布正文。与四月论文的历史配置分别呈现。<a
href="https://openai.com/index/introducing-gpt-live-1-in-the-api/"
>发布说明 ↗</a
>
</td>
</tr>
<tr>
<th>OpenAI 发布图<br />GPT-Live-1</th>
<td>FDB-v1 轮替时延 <strong>0.798 s</strong></td>
<td>
从用户结束话轮到系统开始回答。该项使用 FDB-v1 协议。<a
href="https://images.ctfassets.net/kftzwdyauwt9/6hFWb3bOFoepzg3aUx2zei/2a18b8d1372ee6c2fa937efa4daccb5f/kix.vqxcgk6pb8ef.png?fm=webp&amp;q=90&amp;w=3840"
>原始发布图 ↗</a
>
</td>
</tr>
<tr>
<th>InteractionBench<br />GPT-Live-1 + gpt-5.5</th>
<td>轮替回复起始中位数 <strong>1.210 s</strong></td>
<td>
30
道轮替题,统计按论文规则未提前开口的回复。客户端重建时间轴,计入代理网络与缓冲。<a
href="https://arxiv.org/html/2611.02430v1"
>表 3、表 5 与附录 H ↗</a
>
</td>
</tr>
<tr>
<th>Cekura 电话评测<br />GPT-Live-1 + GPT-6 Sol(low)</th>
<td>
延迟 P50 / P90 / P95<br /><strong
>2.27 / 2.72 / 2.83 s</strong
>
</td>
<td>
70 场景 × 3,共 210
通电话。每通先求平均回复延迟,再对这些电话均值取分位数。marin
声音,服务端轮替检测。<a
href="https://benchmarks.cekura.ai/speech-to-speech/real-calls/gpt-live"
>结果 ↗</a
>
<a
href="https://benchmarks.cekura.ai/speech-to-speech/real-calls/methodology"
>统计方法 ↗</a
>
</td>
</tr>
<tr>
<th>OpenAI 模型文档<br />GPT-Live-1 前端语音层</th>
<td><strong>$0.05 / 分钟</strong></td>
<td>
按秒计费。后台模型与工具另计,整机成本需合并核算。检索日为
2026-11-09。<a
href="https://developers.openai.com/api/docs/models/gpt-live-1"
>模型与计费 ↗</a
>
</td>
</tr>
</tbody>
</table>
</div>
<p class="reading-note">
本次所查资料尚缺 GPT-Live-1
在原图同一统计口径下的首音均值与关键回答起始均值,因此原表保留空缺。
0.798、1.210 和 2.27 秒各有独立条件,不能合并成一个统一时延排名。
</p>
</section> </section>
<section id="higgs" class="article-section"> <section id="higgs" class="article-section">
@@ -1302,6 +1404,36 @@
>LiveKit · Pipeline Types</a >LiveKit · Pipeline Types</a
><span>检索日读取。级联、轮次式与持续双工管线的接口说明。</span> ><span>检索日读取。级联、轮次式与持续双工管线的接口说明。</span>
</li> </li>
<li id="source-live-launch">
<a
href="https://openai.com/index/introducing-gpt-live-1-in-the-api/"
>OpenAI · GPT-Live-1 API 发布材料</a
><span
>2026-09-10。FDB-v3 后台配置与发布图中的工具、回答质量和 FDB-v1
轮替指标。图表数值经视觉核对。</span
>
</li>
<li id="source-interactionbench">
<a href="https://arxiv.org/html/2611.02430v1">InteractionBench</a
><span
>2026-11-02,v1。表 3、表 5 与附录 H,包含具体 API
配置、回复起始中位数与时间轴重建条件。</span
>
</li>
<li id="source-cekura">
<a
href="https://benchmarks.cekura.ai/speech-to-speech/real-calls/gpt-live"
>Cekura · GPT-Live-1 电话评测</a
><span
>检索日读取。210
通电话及电话均值的时延分位数,统计定义见其方法页。</span
>
</li>
<li id="source-live-model">
<a href="https://developers.openai.com/api/docs/models/gpt-live-1"
>OpenAI · GPT-Live-1 模型文档</a
><span>检索日读取。前端语音会话计费与后台独立核算边界。</span>
</li>
</ol> </ol>
</section> </section>
<footer class="article-footer"> <footer class="article-footer">
+12
View File
@@ -932,6 +932,18 @@ main .source-line {
white-space: nowrap; white-space: nowrap;
font-variant-numeric: tabular-nums; font-variant-numeric: tabular-nums;
} }
.benchmark-missing {
display: grid;
grid-template-columns: 120px 1fr;
gap: 15px;
padding: 13px 0;
border-top: 1px solid var(--line);
font-size: 11px;
}
.benchmark-missing span,
.missing-data-row td {
color: var(--muted);
}
.argument-chain { .argument-chain {
display: flex; display: flex;
gap: 20px; gap: 20px;