5.2 KiB
5.2 KiB
黄金边界样例
使用这些样例校准规则,不要把词面模板机械迁移到所有场景。来源中的页码为 PDF 物理页码;“推导”表示按规则组合得到,不是文档逐字给出的标签。
| # | query / 上下文 | label | 主原因码 | 边界说明 | 来源 |
|---|---|---|---|---|---|
| 1 | 开空调 | 快 | DIRECT_ACTION |
动作和对象明确 | 新标准 p8 |
| 2 | 太冷了,调一下空调 | 快 | DIRECT_ACTION |
感受词不覆盖明确动作和对象 | 新标准 p8,规则推导 |
| 3 | 我感觉好冷快冻死了,帮我调一下 | 慢 | INTENT_INFERENCE |
未说明要调什么,需反推动作 | 新标准 p9 |
| 4 | 调一个浪漫点的氛围灯 | 快 | DIRECT_ACTION |
风格是简单修饰,功能目标明确 | 新标准 p8–9 |
| 5 | 帮我把房间布置得舒适温馨一些 | 慢 | SCENE_GOAL_MAPPING |
需把目标状态映射成动作组合 | 新标准 p9 |
| 6 | 导航去附近评分 4.5 以上的泰国菜 | 快 | DIRECT_ACTION |
最终汇总覆盖调研版“筛选即慢” | 新标准 p2 与 p8 |
| 7 | 导航去附近最大的停车场 | 快 | DIRECT_ACTION |
单目标、单一简单排序可直接满足 | 旧评测 p3 与新标准 p8,规则推导 |
| 8 | 推荐一家安静、亲子、评分高、停车方便且别排太久的酒店 | 慢 | COMPLEX_REASONING |
多个主观/实时条件需权衡 | 旧评测 p3,新标准规则推导 |
| 9 | 导航去大裤衩,再沿途找充电站,并看看终点附近哪里好停车 | 慢 | MULTI_STEP_PLANNING |
多地点、多步骤路线编排 | 新标准 p9 |
| 10 | 删除途经点 | 快 | DIRECT_OPERATION_FLOW |
导航操作流中的直接动作 | 新标准 p8 |
| 11 | 把空调调到 24 度,然后打开座椅加热 | 快 | EXPLICIT_DEVICE_MULTI_ACTION |
多个动作全部为明确设备控制 | 新标准 p8 |
| 12 | 查天气再决定要不要开窗 | 慢 | MULTI_STEP_PLANNING |
查询结果决定后续控制 | 旧评测 p4 |
| 13 | 那个压线噔噔的声音关掉 | 快 | DIRECT_ACTION |
名称不标准但目标可唯一识别且动作明确 | 新标准 p4 与 p9 |
| 14 | 打开那个灯(场景中有多个灯) | 慢 | TRUE_DISAMBIGUATION |
存在真实多候选,需澄清 | 旧评测 p3,新标准规则推导 |
| 15 | 导航到那个像大裤衩一样的楼 | 慢 | TRUE_DISAMBIGUATION |
需先识别隐含地标再定位 | 旧评测 p3 |
| 16 | 播放周杰伦的歌 | 快 | DIRECT_ACTION |
明确播放意图和资源 | 新标准 p8 |
| 17 | 播放最近短视频里很火的那首歌 | 慢 | TRUE_DISAMBIGUATION |
资源身份不确定且依赖外部热点 | 旧评测 p3,新标准内容细则 |
| 18 | 找王菲在春晚与别人合唱的歌,再用网易云播放 | 慢 | MULTI_STEP_PLANNING |
外部检索后跨步骤播放 | 新标准 p9 |
| 19 | 现在几点了 | 快 | DIRECT_DETERMINISTIC_QUERY |
高频、唯一、确定性工具查询 | 旧评测 p3 |
| 20 | 帮我定明天早上 9 点的闹钟 | 快 | DIRECT_ACTION |
时间和动作明确 | 新标准 p8 |
| 21 | 小米 SU7 支持哪些驾驶模式 | 模糊 | PRODUCT_KNOWLEDGE |
纯静态产品知识 | 新标准 p10 |
| 22 | 我的车怎么突然没声音了 | 模糊 | FAULT_DIAGNOSIS |
纯故障原因/诊断请求 | 新标准 p4 与 p10 |
| 23 | 现在胎压是多少 | 模糊 | DEVICE_OR_ENV_STATE_QUERY |
最终模糊档覆盖调研版简单动态查询快 | 新标准 p4 与 p10,规则推导 |
| 24 | 家里哪个房间最热 | 模糊 | DEVICE_OR_ENV_STATE_QUERY |
环境状态查询,无控制副作用 | 新标准 p10 |
| 25 | 给我讲个笑话 | 模糊 | OPEN_CHAT_OR_QA |
闲聊/开放内容 | 新标准 p10 |
| 26 | 做一个介绍 AI4S 的 PPT | 慢 | MULTI_STEP_PLANNING |
复杂产物生成与内容组织 | 新标准 p9 |
| 27 | 音箱端:每天晚上 8 点开灯开空调 | 慢 | AUTOMATION_SLOW_POLICY |
音箱家庭自动化专项默认慢 | 新标准 p7 |
| 28 | 车载端:车速超过 70 提醒我减速 | 快 | DIRECT_ACTION |
车载闹钟/提醒专项走快 | 新标准 p7 |
| 29 | 前轮慢系统询问“确认开启湿滑模式吗”;当前轮“帮我开启” | 慢 | CONTEXT_REQUIRED |
继承慢确认链路 | 新标准 p4 |
| 30 | 仅当前轮“帮我开启”,无任何前轮 | 慢 | MISSING_REQUIRED_SLOT |
无法确定开启对象;低置信并复核 | 新标准规则推导 |
| 31 | 自动帮我设置一下(端侧未知) | 模糊 | POLICY_UNCERTAIN |
端侧会改变正式自动化策略;默认慢并复核 | 新标准 p7,规则推导 |
最小对照组
校准时至少同时检查以下紧邻对:
太冷了,调一下空调 -> 快
我感觉好冷快冻死了,帮我调一下 -> 慢
调一个浪漫点的氛围灯 -> 快
帮我把房间布置得浪漫一点 -> 慢
导航去附近评分 4.5 以上的泰国菜 -> 快
帮我综合挑一家不踩雷、少排队、停车方便的餐厅 -> 慢
那个压线噔噔的声音关掉 -> 快
打开那个灯(存在多个候选) -> 慢
现在几点 -> 快
现在胎压多少 -> 模糊
开空调并打开座椅加热 -> 快
查天气再决定是否开窗 -> 慢