Files
zk-data-agent/skills/label-fast-slow-routing/references/golden-examples.md
T

5.2 KiB
Raw Blame History

黄金边界样例

使用这些样例校准规则,不要把词面模板机械迁移到所有场景。来源中的页码为 PDF 物理页码;“推导”表示按规则组合得到,不是文档逐字给出的标签。

# query / 上下文 label 主原因码 边界说明 来源
1 开空调 DIRECT_ACTION 动作和对象明确 新标准 p8
2 太冷了,调一下空调 DIRECT_ACTION 感受词不覆盖明确动作和对象 新标准 p8,规则推导
3 我感觉好冷快冻死了,帮我调一下 INTENT_INFERENCE 未说明要调什么,需反推动作 新标准 p9
4 调一个浪漫点的氛围灯 DIRECT_ACTION 风格是简单修饰,功能目标明确 新标准 p89
5 帮我把房间布置得舒适温馨一些 SCENE_GOAL_MAPPING 需把目标状态映射成动作组合 新标准 p9
6 导航去附近评分 4.5 以上的泰国菜 DIRECT_ACTION 最终汇总覆盖调研版“筛选即慢” 新标准 p2 与 p8
7 导航去附近最大的停车场 DIRECT_ACTION 单目标、单一简单排序可直接满足 旧评测 p3 与新标准 p8,规则推导
8 推荐一家安静、亲子、评分高、停车方便且别排太久的酒店 COMPLEX_REASONING 多个主观/实时条件需权衡 旧评测 p3,新标准规则推导
9 导航去大裤衩,再沿途找充电站,并看看终点附近哪里好停车 MULTI_STEP_PLANNING 多地点、多步骤路线编排 新标准 p9
10 删除途经点 DIRECT_OPERATION_FLOW 导航操作流中的直接动作 新标准 p8
11 把空调调到 24 度,然后打开座椅加热 EXPLICIT_DEVICE_MULTI_ACTION 多个动作全部为明确设备控制 新标准 p8
12 查天气再决定要不要开窗 MULTI_STEP_PLANNING 查询结果决定后续控制 旧评测 p4
13 那个压线噔噔的声音关掉 DIRECT_ACTION 名称不标准但目标可唯一识别且动作明确 新标准 p4 与 p9
14 打开那个灯(场景中有多个灯) TRUE_DISAMBIGUATION 存在真实多候选,需澄清 旧评测 p3,新标准规则推导
15 导航到那个像大裤衩一样的楼 TRUE_DISAMBIGUATION 需先识别隐含地标再定位 旧评测 p3
16 播放周杰伦的歌 DIRECT_ACTION 明确播放意图和资源 新标准 p8
17 播放最近短视频里很火的那首歌 TRUE_DISAMBIGUATION 资源身份不确定且依赖外部热点 旧评测 p3,新标准内容细则
18 找王菲在春晚与别人合唱的歌,再用网易云播放 MULTI_STEP_PLANNING 外部检索后跨步骤播放 新标准 p9
19 现在几点了 DIRECT_DETERMINISTIC_QUERY 高频、唯一、确定性工具查询 旧评测 p3
20 帮我定明天早上 9 点的闹钟 DIRECT_ACTION 时间和动作明确 新标准 p8
21 小米 SU7 支持哪些驾驶模式 模糊 PRODUCT_KNOWLEDGE 纯静态产品知识 新标准 p10
22 我的车怎么突然没声音了 模糊 FAULT_DIAGNOSIS 纯故障原因/诊断请求 新标准 p4 与 p10
23 现在胎压是多少 模糊 DEVICE_OR_ENV_STATE_QUERY 最终模糊档覆盖调研版简单动态查询快 新标准 p4 与 p10,规则推导
24 家里哪个房间最热 模糊 DEVICE_OR_ENV_STATE_QUERY 环境状态查询,无控制副作用 新标准 p10
25 给我讲个笑话 模糊 OPEN_CHAT_OR_QA 闲聊/开放内容 新标准 p10
26 做一个介绍 AI4S 的 PPT MULTI_STEP_PLANNING 复杂产物生成与内容组织 新标准 p9
27 音箱端:每天晚上 8 点开灯开空调 AUTOMATION_SLOW_POLICY 音箱家庭自动化专项默认慢 新标准 p7
28 车载端:车速超过 70 提醒我减速 DIRECT_ACTION 车载闹钟/提醒专项走快 新标准 p7
29 前轮慢系统询问“确认开启湿滑模式吗”;当前轮“帮我开启” CONTEXT_REQUIRED 继承慢确认链路 新标准 p4
30 仅当前轮“帮我开启”,无任何前轮 MISSING_REQUIRED_SLOT 无法确定开启对象;低置信并复核 新标准规则推导
31 自动帮我设置一下(端侧未知) 模糊 POLICY_UNCERTAIN 端侧会改变正式自动化策略;默认慢并复核 新标准 p7,规则推导

最小对照组

校准时至少同时检查以下紧邻对:

太冷了,调一下空调                  -> 快
我感觉好冷快冻死了,帮我调一下       -> 慢

调一个浪漫点的氛围灯                -> 快
帮我把房间布置得浪漫一点             -> 慢

导航去附近评分 4.5 以上的泰国菜       -> 快
帮我综合挑一家不踩雷、少排队、停车方便的餐厅 -> 慢

那个压线噔噔的声音关掉               -> 快
打开那个灯(存在多个候选)            -> 慢

现在几点                            -> 快
现在胎压多少                         -> 模糊

开空调并打开座椅加热                 -> 快
查天气再决定是否开窗                 -> 慢