Add label master skill

This commit is contained in:
wuyang6
2026-05-09 17:49:53 +08:00
parent 84b715a293
commit 010dc1a88d
166 changed files with 13099 additions and 3 deletions
@@ -0,0 +1,51 @@
# AI创作边界
## 代码创作
- 易混淆:QA
- 划分原则:代码生成代码相关问答(研发/产品评估可以满足)长线计划:代码所有需求迁移到dialog agent
- 满足边界问题:代码生成和代码问答之间的边界:用python写一段快排代码 : 代码生成下面这段快排代码有什么问题: 代码问答“写一个快排代码,并解释原理”:同时有生成和问答建议后续代码生成和代码问答通用由代码创作来承接,不做区分
## 视频创作
- 划分原则:视频的剪辑和导出:剪辑视频泛意图、编辑素材泛意图、将素材剪辑成视频、导出视频视频生成:生成各类风格的视频,当前未支持
- 满足边界问题:目前边界只局限在剪辑视频和导出视频,后续的视频创作也应该归入到这个意图中帮我生成一个搞笑视频 给视频创作
## 图片搜索(图片)
- 易混淆:APP搜索QA地图导航浏览器搜索
- 划分原则:图片(静态/动态)、表情包、地图、手抄报、简笔画搜索原则1:xxx长什么样等——图片搜索怎么画xxx——出视频教程--QA
- 满足边界问题:1 图片搜索和在APP中搜索图片目前没有做区分小红书搜索风景壁纸——APP控制搜索好看风景壁纸——图片搜索2 QA边界: 钢铁侠长什么样——图片搜索搜索一下钢铁侠长什么样——图片搜索怎么画猫的简笔画——QA3 浏览器搜索百度一下西二旗地图——浏览器搜索(APP)搜索西二旗地图——图片搜索4 地图导航类中国地图——图片搜索北京地图——图片搜索海淀区地图——图片搜索搜索海淀地图——图片搜索西二旗地图——图片搜索
## 图像编辑
- 易混淆:相机图片创作
- 划分原则:语义范围为:图片基础处理、色彩与光影调整、人像美化问题1:图像创作的风格转换--图片编辑的风格转换:图片编辑:修改RGB参数,修改色彩,亮度,某些图片中的特征值图片创作:1、全新生成一张图片2、根据已知图片,生成另一张图片(不是编辑图片的参数)问题2:图片编辑和相机设置项根据系统上下文判断在照相机界面——相机设置,控制类相册界面——图片编辑其他界面——图片编辑
- 满足边界问题:图像创作的风格转换--图片编辑的风格转换语义上混淆:“把我的照片改成漫画风”:既是风格迁移(创作)又像滤镜(编辑)——图片编辑“给人像加温暖怀旧滤镜”:和换风格很像,但只是滤镜覆盖——图片编辑甚至"瘦脸/美颜"等图片编辑功能,后续是不是也可以由图片创作承接——图片编辑图片编辑和相机设置项之间的边界问题:“让照片更亮一点” :可能是拍前(相机曝光补偿)或拍后(编辑调亮)“人像要更清晰”: 可能是相机分辨率设置,也可能是后期锐化“拍出来像漫画”:可用相机滤镜拍,也可后期风格转换
## 图像创作
- 易混淆:图像编辑
- 划分原则:文生图——图片创作风格转换——图像编辑扩图——图像编辑原则1:文字出图片是文生图,基于图片输入的修改都是图片编辑不是生成
- 满足边界问题:在已实现功能中,风格转换会和图片编辑中的风格转换语义上混淆:“把我的照片改成漫画风”:既是风格迁移(创作)又像滤镜(编辑)——图片编辑“给人像加温暖怀旧滤镜”:和换风格很像,但只是滤镜覆盖——图片编辑
## 文本创作
- 易混淆:QA生活服务
- 划分原则:明确的创作或改写指令用户提供的主题、体裁、风格、格式要求等约束条件生成原创性、结构化文本内容长线计划:文本生成所有需求迁移到dialog agent短线:输入图片的走图片问答,其他未定义的文本生成先给文本创作,外语写作需求也是文本创作
- 满足边界问题:文本创作和通用问答存在意图划分的灰区:和QA存在边界冲突,如果一个写作需求,需要依赖大量事实/时新知识的查询,给到通用问答更加合适:推荐北京旅游攻略 ——生活服务“写一个北京旅游攻略,包含2025年最新开放时间和票价” → 二段式(通用查 → 创作写)“北京旅游有哪些必去景点?” → 通用边界1:其他精品垂域>文本生成边界2:文本生成--QA旅游攻略——生活服务菜谱——QA健康报告计划指定某种格式的文书某种文体边界3:根据这张图片创作一篇作文边界4:总结类根据这篇文章(文件/截屏/图片问答)的内容生成一段评论(文档总结-生成)边界5:外语创作是否支持用英语描写青岛栈桥美丽风景——文本创作
## 作文
- 满足边界问题:暂无
@@ -0,0 +1,109 @@
# 内容和媒体播放边界
## 视频播放
- 划分原则:属于“视频播放”的请求(应触发):明示播放:“播放/放一下/我想看《流浪地球》” → name=流浪地球“放吴京演的《战狼》” → name=战狼,artist=吴京“看一下‘夏洛特’这个角色相关的电影” → character=夏洛特,type=电影通过人物/角色/标签/类型检索后播放:“放几个悬疑片看看” → tag=悬疑“播放王家卫的电影” → artist=王家卫,type=电影MV/演唱会录像等视频(非纯音频):“播放周杰伦《晴天》MV” → name=晴天,type=MVartist=周杰伦原则1:单实体问题,走Redis,查词表,其他的走QA
- 满足边界问题:内容agent垂域之间互相混淆单实体单实体默认出QA视频、音乐单实体互相混淆:比如q=小猪佩奇,可能是视频或者音乐,不同端满足形式不一样;或者视频与音乐难以区分,需要注入知识。非单实体和其他agent的混淆和图片的满足边界:q=播放单依纯的照片,歌曲优先和QA的满足边界:高热单实体给歌曲播放,比如青花瓷;否则给QA用户说了一句歌词、或者表达了一个电影片段,给QA歌曲、电影推荐,q=推荐几首歌,都属于播放和帮助的满足边界,类似如下query,直接满足和间接满足的区别,(待讨论--此问题已经记录)可以来首歌吗?你能播放一首歌吗?可以来个电影吗和控制的边界:本质的区别是,是否要经过媒体内容的搜索推荐娱乐app名称+媒体资源名称,比如:用 Bilibili 播放《三体》动画,给媒体应用播放;而非应用控制仅娱乐媒体app名称,比如打开爱奇艺,给应用控制q=打开音乐,把音乐给我打开,把音乐打开给音乐播放而非控制。可以先走top_q车载端(待讨论):打开音乐不能播放 @谢曹东q=播放qq音乐,音乐播放q=打开qq音乐,应用控制q=歌词?其余控制边界在底下【内容控制】部分,此处仅涵盖【媒体应用播放】与控制之间的边界。
## 音乐播放
- 易混淆:容易和音乐问答冲突
- 划分原则:明示播放:“播放《稻香》”“放朴树的《平凡之路》”通过人物/专辑/标签检索后播放:“放周杰伦的歌”“来点轻音乐助眠”“播放《三体》OST”
## 古诗播放
- 易混淆:QA
- 划分原则:古诗词搜索检索相关,是出古诗,包括按照诗句、诗人、题材等搜索。如果是古诗词问答,给QA诗歌名:将进酒(古诗词播放--单实体)诗句定位:会当凌绝顶(古诗词播放/QA都可以)以诗人/朝代/体裁/标签筛选后播放:唐代边塞诗
- 满足边界问题:古诗、QA意图边界:按诗歌名搜索、按诗句、诗人搜索、按题材推荐、泛推荐优先给古诗播放而非QA;举头望明月是什么意思--QA举头望明月翻译成白话文--QA举头望明月表达了什么--QA古诗播放满足形式:优先走精品卡,朗读对应古诗内容(精品卡底部有大模型回复链接可点击)如果无对应精品卡但存在TTS文本,走卡片展示和TTS生成如资源库无资源,采用大模型卡片兜底 边界1:容易和古诗问答冲突列query诗人问答古诗词含义、赏析、字词问答
## 讲笑话
- 划分原则:输出段子或幽默内容,可指定类型或时长
## 声音博物馆
- 易混淆:音乐播放
## 新闻
- 易混淆:音乐播放:播放xxxQA
- 划分原则:播放或查询新闻内容:整点新闻、专题报道、实时头条等
- 满足边界问题:整体原则:只要是新闻需求,优先给新闻。可能会有音乐、视频、歌手、歌曲、体育赛事相关的新闻问答续期,统一给新闻。
## 歌单
- 满足边界问题:歌单仅指音乐、电台增删改查,涉及音乐、电台列表的添加、删除、创建、播放的优先给歌单满足。视频收藏给smartApp
## 体育赛事播放
- 满足边界问题:语义范围:赛事预约、赛事播放、赛事问答是从sports中拆出来的3个标签,均指官方体育比赛,一般而言不涵盖民间自己组织的比赛,不在收录范围之内。设备范围:目前仅电视端生效。赛事播放:即在电视端点播体育赛事,会切换频道或者节目。满足形式:满足形式:各场景:频道页、赛程表、赛事详情页、预约管理
## 电视频道
- 易混淆:控制agent
- 满足边界问题:问题1:协同响应指定被控设备,同:控制-设备控制问题2:和控制类边界问题(类似播放器控制)换台,是不是和音乐的下一首类似,没提到实体或描述就是纯控制指令切到频道1下一个频道控制query列出来
## 音乐问答
- 易混淆:QA音乐
- 划分原则:音乐静态知识类问答给音乐问答,否则给音乐播放
- 满足边界问题:内容问答易和QA混淆:歌手、演员等人物是边界问题,给QA,属于QA人物问答介绍这个歌手,介绍周杰伦围绕“歌曲、电影、电视剧”的问答,优先给内容问答,会出精品卡片,QA可兜底。内容问答容易和播放状态查询混淆,如下query优先给播放状态查询,这首歌是谁唱的这是什么歌内容问答和产品问答、控制类边界:你会听歌识曲吗打开听歌识曲
## 视频问答
- 易混淆:容易和视频播放冲突容易和通用问答冲突
- 划分原则:视频知识问答类给视频问答视频点播类给视频播放20251111共识:1、query中带有影视作品名称或明显影视相关pattern的给内容问答;2、询问剧情细节的,或者剧情相关问题,给内容问答;3、动漫或影视作品中虚拟人物相关问题,给内容问答;
## 电台问答
- 易混淆:容易和电台播放冲突容易和通用问答冲突
- 划分原则:电台知识类问题给电台问答电台播放类问题给电台播放。
## 古诗词问答
- 易混淆:容易和古诗播放冲突容易和通用问答冲突
- 划分原则:诗词类问答给QA诗词类音频点播给PlayPoem
- 满足边界问题:古诗词问答直接由QA满足
## 体育赛事问答
- 易混淆:QA
- 划分原则:查询体育赛程、比分、排名、历史数据等
- 满足边界问题:和QA的满足边界,运动问答由QA满足,和QA没有边界。和个人运动监控的边界,体育赛事侧重于官方比赛,个人运动监控侧重于个人进行的运动,围绕智能手表、手机、跳绳、跑步机等智能设备监控各类运动时心率、热量消耗等功能,边界很清晰QA的边界:赛后:比分、排名、得分数据、技术统计运动项目:覆盖哪些?端午节划龙舟个人运动健康,学校的比赛个人运动身体健康湖人现在排名第几?上届世界杯冠军是谁?今天中超有什么比赛?
## 播放状态查询
- 满足边界问题:给到播放状态查询后的,满足方式ContentAgentSkill通用注入当前音频播放信息及session信息调用内容类回复大模型生成回复并输出对应资源类型及关键信息,调用对应资源检索服务展示(或播放)资源列表边界和QA的边界:侧重于当前播放内容的信息问答,偏动态类内容问答,应该给内容播放状态查询;如果是静态类内容查询,不需要指代消解,那么就给QA和听歌识曲的边界,依赖context注入:本机当前是否在播放歌曲,如果在播放歌曲,优先播放状态查询;否则听歌识曲。
## 听歌识曲
- 满足边界问题:给到播放状态查询后的,满足方式ContentAgentSkill通用注入当前音频播放信息及session信息调用内容类回复大模型生成回复并输出对应资源类型及关键信息,调用对应资源检索服务展示(或播放)资源列表边界和QA的边界:侧重于当前播放内容的信息问答,偏动态类内容问答,应该给内容播放状态查询;如果是静态类内容查询,不需要指代消解,那么就给QA和听歌识曲的边界,依赖context注入:本机当前是否在播放歌曲,如果在播放歌曲,优先播放状态查询;否则听歌识曲。
## 播放器控制(系统控制)
- 划分原则:需要重新走搜索推荐的,如换一个版本,给内容控制;完全不依赖搜索推荐,播放器控制直接满足的给系统控制
- 满足边界问题:原来的内容控制属于媒体资源切换,需要走一次搜索推荐策略。新增的播放器控制是纯系统控制拆分的分支。和系统控制的边界,多轮对话中内容资源版本的切换,如下给内容控制(媒体资源切换)播放晴天->换个版本播放xxx新闻->换个版本'换一首'---等于下一首,播放器控制;换一首歌曲---媒体资源切换和系统控制的边界,如下功能给系统控制(播放器控制),播放器控制为新建标签。下一个(播放器控制)['下一首', '下一集', '下一曲']播放(播放器控制)['播放', '继续播放', '继续', '放', '请播放']选项选择/可见即可说(播放器控制)['第一个', '第二个', '播放第一个', '确定', '第三个']播放第三首歌,如果屏幕未显示,可见即可说没上报,给内容控制上一个 (播放器控制)['上一首', '播放上一首', '上一曲', '上一集', '播放上一首歌']从头重新播放(播放器控制)['重新播放', '重播', '再来一遍', '从头播放', '再唱一遍']连接-连接蓝牙['连接蓝牙播放音乐(多指令)', '蓝牙连接', '连蓝牙', '连接手机蓝牙', '连接我的蓝牙']设置系统控制项参数值-单曲循环(播放器控制)['设为单曲循环模式', '设为单曲循环', '开启单曲循环模式', '循环模式', '单曲重复']播放器倍速前进 (播放器控制)['快进', '快进两分钟', '快进三分钟', '快进一分钟', '快进五分钟']['切换两倍速播放',"xx"]播放器跳到指定位置播放 (播放器控制)['快进到十分钟', '播放二十二秒', '快进到两分钟', '十分钟', '播放十分钟']播放器倍速后退 (播放器控制)['后退', '退回', '后退一分钟', '后退两分钟', '后退五分钟']和应用控制的边界,知名音乐app的top页面由应用控制满足,如下query给应用控制,详情:车载APP控制 - APP页面词表数据整理每日三十首——音乐播放热歌榜——音乐播放打开每日三十首——APP控制播放每日三十首——音乐播放打开热歌榜——APP控制播放热歌榜——音乐播放歌词——APP控制还是内容问答?
## 体育赛事预约
- 易混淆:备忘录
- 划分原则:如下query都给赛事预约我想取消比赛预约取消预约中超比赛我想取消预约山东泰山的比赛请帮我取消预约NBA比赛我想取消预约勇士队的比赛我想取消预约詹姆斯的比赛把我预约的乒乓球比赛取消之前预约了UFC比赛,帮我取消取消预约明晚辽宁队比赛取消预约后天的CBA比赛“帮我取消明天篮球比赛的预约。”“我要取消后天下午足球比赛的预约。”“请帮我取消本周日羽毛球赛事的预约。”“取消下周六乒乓球比赛的预约。”“帮我取消明晚电竞比赛的预约。”“我想取消本月 20 号网球比赛的预约。”“请帮我取消下周五田径比赛的预约。”“取消后天上午游泳比赛的预约。”“帮我取消之前预约的排球比赛。”“我要取消最近预约的射箭比赛。”
- 满足边界问题:生效设备:目前仅在电视端生效,后续可能迁移到其他端满足形式:各场景:频道页、赛程表、赛事详情页、预约管理提醒类边界问题:q=提醒我今晚 8 点看国足比赛,给备忘录q=预约今晚8点国足比赛,给赛事预约
@@ -0,0 +1,43 @@
# 地图导航边界
## 地图导航
- 易混淆:地图问答QA收藏和记忆生活服务
- 划分原则:边界1:导航-地图问答-QA执行上:地图问答先给导航,导航不召回,给QA(走哪问哪拆出来给导航)短线现状:导航需求,A到B路线查询可以。公交地铁站点查询等都不支持。问题:多轮下针对现有路线提问,很容易出现此类问题长线:原则1:依赖导航app接口查询结果的是地图问答,路线、公交地铁站等,现有接口不支持,走大模型兜底,而不是回复不支持产品问题@张睿@李循边界2:“在哪”,“去xxx”优先给导航,其他都是生活服务优先长线,计划“在哪”不区分导航和生活服务,统一满足边界3:单实体,默认QA,如果是导航需求则给导航和QA都算对。选项1:出富媒体卡片:百科+旅游+导航选项2:询问是否要去哪里单实体难以分端区分,应该在车载端满足时,单实体走poi搜索,有结果出一个导航的卡片。中控不做区分。各端的导航和生活服务单实体,都给导航优先,且QA满足应该调用搜索后出导航或生活类卡片。
- 满足边界问题:边界1:导航-地图问答-QA导航:偏控制类需求,明确的导航需求地图问答:跟导航、路线、当前位置信息相关的问答昆明地铁经过呈贡区吗(地图不支持)北京火车经过海淀区吗(地图不支持)13号线经过西二旗吗(地图不支持)13号线在海淀区吗(地图不支持)我们会经过临沂吗(城市可以支持,其他都不支持,这类问题都给导航)帮我查一下当地有哪些传统手工艺品(典型走问QA,偏向通用QA-槽位识别当地)通用问答:地理知识成都有多大——QA成都离北京有多远——导航能满足,车载默认开车,手机会区分飞机火车等怎么从北京去成都——优先导航,多轮下可能是生活服务/QA边界2:生活服务的酒店美食店铺的POI相关问题杭州乐园什么时候关门——旅游景点途虎养车在哪——地图而不是生活服务 (xxx在哪,优先导航)同帮巴顿火锅——生活服务>QA大观原点酒店——生活服务我要去评分最高的鄂菜——生活服务从重庆飞到上海要几个小时——地图问答可以满足,同QA边界3:POI单实体问题,QA-美食-旅游-地图,单实体POI,地图的优先级最低,默认都是给QA兜底武当山边界4:POI搜索与搜索的区别,默认都给QA搜索香格里拉、搜索九寨沟边界5:特殊POI,如下几个特例,和开车导航关系非常密切的优先地图:附近的加油站, 搜索加油站,q=加油站附近的充电桩,q=充电桩,q=充电(车载)附近的服务区,q=服务器停车场边界6:规划A到B的旅游路线——旅游,只有路线是导航,如果有旅游游玩相关需求是旅游边界7:A附近的Bq=北京有没有山姆——没有明确导航意图,出QA如果是导航过程中,目的地或途径点有没有xxx,给导航(目的地附近有没有大悦城)
## 地图问答
- 易混淆:车载设备状态查询
- 满足边界问题:与车控的边界:已经跑的里程&时间是车载设备状态查询;预估里程&时间是地图问答出发到现在开了多久了-车载设备状态查询上次充满电跑多少公里了-车载设备状态查询已经开了多久-车载设备状态查询到北京有多少里程-地图问答导航显示还需要开多久-地图问答
## 限号查询
- 易混淆:违章问答限号问答交通规则问答
- 划分原则:原则1:查询和问答全部给导航(方案1:查询和问答,区分开查询是searchXXX或者queryXXX问答是answerXXX,但是统一给QA方案2:不区分问答和查询,全部算问答类,统一给地图导航)
- 满足边界问题:边界1:以下情况都给导航违章查询限号查询违章问答限号问答交通规则问答示例query:天津大大大的前天汽车限行尾号是多少(查询类)(AnswerRestrictInfo)外地车在北京高峰期可以上五环吗(问答类)(AnswerRestrictOuter)元旦时上海的限行区域是哪些(AnswerRestrictRegion)尾号是三限行扣多少分呢(AnswerDeduction
## 走哪问哪
- 易混淆:AnswerGoAskAnswerKnowledgeSearch图片问答屏幕问答照片问答
- 满足边界问题:边界1:区分AnswerGoAsk和AnswerKnowledgeSearch走问和走问QA区别在于,走问预期回答一个poi的名字,而走问qa回答与这个poi相关的其他信息。比如:前方隧道叫什么 - 走问前方隧道有多长 - 走问qa走哪问哪与通用问答晓月隧道有多长【通用问答】前边的隧道有多长【走哪问哪】边界2:走问在眼镜端和图片问答的边界【TODO 图片问答边界】
## 地图设置
- 易混淆:系统控制
- 满足边界问题:边界1:地图设置和控制:高德百度地图APP内部功能属于地图设置,APP外部功能属于控制。地图设置和控制的边界问题:导航窗口放大--应用窗口控制
## 地址设置
- 易混淆:结构记忆
- 划分原则:原则1:地址增删改功能【TODO @乔国辉】车载端-导航其他端-工具
- 满足边界问题:边界:【待讨论】与结构记忆的区别修改我家地址 修改公司的地址
@@ -0,0 +1,17 @@
# 小米产品问答边界
## 系统状态查询
- 易混淆:系统状态查询车载设备状态查询家用设备状态查询小米产品问答QA
- 划分原则:1、静态状态是硬件或系统属性,属于小米产品问答。动态状态是实时状态,属于控制查询。2、动态状态分为系统的状态和设备的状态,设备分为车载和家用IOT场景。3、分发原则:老模型原则:小米产品问答>IOT查询>系统控制查询(当前线上策略:看3个谁打分高给谁)planning模型原则:车载设备状态查询:全端优先给小米产品问答家用设备状态查询:全端IOT优先系统控制查询:车载端:都给小米产品问答(已覆盖)其他端:都给小米产品问答(正在做)
- 满足边界问题:1、动态状态查询和静态状态查询动态-实时状态:空调现在多少度?静态-硬件或系统属性:空调最高多少度?2、设备功能造成歧义空调-状态查询和天气问答q=现在多少度,有歧义:车内温度,车外,室内,室外,手机多少度?涉及多个设备,室内空调、车空调、室内温度计、室外温度计、体温计等。3、目标设备歧义分端同2,空调、灯、冰箱,都是车载、家庭和手机等多个设备同时可以控制或查询的:例如,车内灯,车外灯,家里灯,手机闪光灯,路由器信号灯,都是灯,到底是哪个设备电视询问其他电视手机设置项参考:用机助手设置项数据
## 小米产品帮助
- 易混淆:系统状态查询车载设备状态查询家用设备状态查询小米产品问答购物类控制IOT类QA
- 划分原则:详见:小米产品问答边界问题1、如何界定什么是“小米”产品,以及如何界定什么功能是小米产品功能1、用户明确提到“小米”相关或指代消解后知道是小米产品,给到productQA2、小米+其他品牌对比,认为是购物类需求,给LifeAgent,其他品牌之间对比给QA3、结合场景给知识,不同端给不同agent例如“水杯应该放哪”,车载给productAgent,手机给QA2、购买类需求,包括购物信息对比、购物比价,全部给生活服务agent。如果query中出现app名字的,给app控制兜底。3、可执行类的控制相关问答优先给产品,媒体播放类询问题待定(待讨论)边界问题1:可执行action和产品问答边界:直接执行出引导+卡片小米产品问答能否帮我【控制指令】能否帮我【播放媒体资源指令】能否帮我【某可执行指令】你能【控制指令】吗你能【播放媒体资源指令】吗你能【某可执行指令】吗你会不会【控制指令】你会不会【播放媒体资源指令】你会不会【某可执行指令】1、产品和通用问答边界问题:1.1 网易云音乐为什么打不开:因为默认用户在问小米手机系统,或小米车载系统,所以是产品问答1.2 洗衣机、空调为什么坏了:因为产品agent新增支持IOT类问题问答,产品agent会区分用户是否有小米空调或小米洗衣机,因此满足上都给产品agent,也属于产品问答 2、可执行指令和产品问答边界问题:@李彦婵 拉产品老师统一梳理类似需求,给出统一解决方案并发起技术评审,有结论之前,中控线上维持现状
- 满足边界问题:车载产品问答车载端case类型1眼镜应该放哪水杯应该放哪车载端case类型2雨天开车是胎压高好还是胎压低好开空调要打开内循环还是外循环电动汽车怎么充电车载端case类型3query=那个卡皮巴拉是干嘛的?query=嘤嘤是谁query=中间的那个萌宠能不能给我跳个舞以下query,不同端给不同的agent车载NFC功能如何使用天幕如何打开NFC功能如何使用手机NFC功能如何使用空调多久需要清洗一次扫地机怎么充电牙刷怎么充电牙刷如何开启震动模式枕头怎么洗运动鞋怎么刷完全和小米无关给QA华为汽车续航怎么样Vivo NFC功能如何使用指代理解为小米设备是product你有哪些功能是华为没有的你比华为手机强在哪你跟华为手机谁比较贵手车互联--在车载端给Product,其他端是QAOPPO手机怎么投屏车机iPhone投屏失败怎么解决iPhone无线CarPlay怎么连vivo手机如何进入投屏到汽车三星手机车机镜像怎么操作华为车机和荣耀手机镜像方式媒体播放问答边界---待定你能来首音乐么你能播放音乐么你会播放音乐么你可以来首歌么你可以播放音乐么你能播放音乐吗?你能唱歌吗?---直接播放音乐你会讲故事吗?---直接station讲故事你能连一下wifi吗?你能把屏幕调亮吗?你能打开飞行模式吗?你能调大音量吗?控制边界--给productQA能否帮我将微信从外屏删除?能否帮我打开热点?可以帮我把音量调高20%吗?你能否帮我将微信从外屏删除?你能否帮我打开热点?你可以帮我把音量调高20%吗?IOT单实体--给QA空调冰箱电视
@@ -0,0 +1,185 @@
# 工具类边界
## 外语翻译
- 易混淆:QA()
- 划分原则:1、只有“外语相关”+“翻译是主需求”两个条件同时满足才是翻译2、保准确不保召回,用户明确说了是英语、日语或单词等表达,才认为是翻译,重点是是否明确是外语相关的问题或外语单词相关问题。3、如果用户只说了“翻译”,不一定是翻译意图,如:文言文、古诗翻译。翻译成繁体字,拼音等。4、通用问答中和小米产品名词相关的问题,给产品问答
- 满足边界问题:通用问答:VPN是什么意思不如言,刑从之古文翻译你好用四川话怎么说我想你了用河南话怎么说忧伤的乌龟翻译成繁体【某文言文古诗】怎么翻译
## 外语词典查询
- 易混淆:词典
- 划分原则:5、中文、拼音查词典给到词典,没有明确的查词典需求给到QA6、近义词反义词等,因为存在和中文,以及通用问答“买PUT”等的混淆问题,没有明确是外语或单词的给QA7、XX怎么读,字母怎么读给到翻译,汉字怎么读,给到词典
- 满足边界问题:中文词典:biangbiang面的biang怎么写
## 外语问答
- 易混淆:QA()
- 划分原则:中文的语言结构、语法、词汇用法等等的问答给到QA同上,没有外语/单词等表达的都给QA
- 满足边界问题:QA: PUT和CALL的区别QABIT和A FEW的区别QAharmonyos和hyperos的区别外语问答:英语中BIT和A FEW的区别
## 外语造句
- 易混淆:QA()AI文本创作
- 划分原则:1、外语的文本创作类,给文本创作或qa2、外语问答类和QA边界模糊的,给谁都可以,都是大模型满足
- 满足边界问题:文本创作:描写青岛栈桥美丽风景的句子 qa:用ride造句文本创作/外语问答:描写青岛栈桥美丽风景的英文句子
## 翻译功能操作
- 易混淆:应用控制
- 划分原则:1、工具类的控制都属于工具,例如打开翻译,打开运动健康等2、应用控制涉及的query是打开关闭带有具体app应用名称的,例如有道翻译、百度翻译,属于应用控制
- 满足边界问题:关闭有道翻译--APP控制
## 文档总结
- 易混淆:拍照问答、图片问答
- 划分原则:文档总结有多模态能力,在各个端都是文档总结。本地文档、屏幕上文字、URL、图片、视频、音频,这些已知来源的总结是总结,其他是QA。其他类型的总结可以出resource(type="unknown"),则工具agent调大模型总结。
- 满足边界问题:1、总结和图片问答边界:总结/分析+文档眼镜端:x0 = Resource(type="photo")其他端:x0 = Resource(type="picture")总结一下这幅图【TODO】2、可能需要联网搜索拿不到文档实体的(待讨论-国辉,产品满足问题)总结一下这本书总结一下孔乙己这篇文章3、(待讨论-国辉,产品满足问题)现在只支持文档和URL总结,图片、音频、视频还没有,看后续是否支持还是给其他垂域
## 闹钟
- 易混淆:提醒系统定时控制(自动任务)提醒
- 划分原则:原则1:睡觉叫醒我属于闹钟叫醒我的过程是把我从睡觉的状态叫醒,需要用到闹钟,所以给到闹钟垂域叫我、叫醒我、喊我都是闹钟,需要连续响铃提醒我,是提醒-备忘录原则2:提醒和闹钟的边界在于query中是否明确包含闹钟,如果明确包含闹钟,给到闹钟,否则给到提醒优先级:闹钟>提醒原则3:小憩模式/休息等类似表述+时间(待讨论,控制类问题)一部分是控制(打开关闭),一部分是tools,区分有困难打开小憩模式打开小憩模式30分钟小憩模式是一种独立功能,是一种让用户睡觉休息的模式这种要给闹钟,因为这种query的主要目的是要在固定时间后休息结束,闹钟响起。但是反过来,时间+小憩模式/休息,这种是固定时间后打开小憩模式的目的,所以要给到系统定时控制
- 满足边界问题:边界1clock,reminder,自动任务3个功能是互相覆盖,有一定边界问题边界2:小憩模式打开小憩模式30分钟(控制?自动任务?)小憩模式30分钟边界3:叫醒,闹钟和提醒创建早晨6点的提醒用白噪声喊我八点遛狗边界4:自动任务30分钟后叫我30分钟后提醒我充满电的时候叫醒我
## 倒数日
- 易混淆:记忆
- 划分原则:倒数日>记忆>提醒
- 满足边界问题:倒数日>记忆>提醒
## 提醒
- 易混淆:QA()
- 划分原则:原则1:个性化的生日、纪念日都属于记忆只有查询我的提醒,才是提醒查询原则2:明确表述记一下就是主动记忆有“提醒”类明确表述是提醒两者都有,提醒>记一下提醒我记一下下周一是我妈生日原则3:距离爷爷生日还有几天,是时间距离计算
- 满足边界问题:【爷爷】的生日什么时候:family纪念日【毛泽东】的生日是什么时候:qa【节日】是什么时候:全给时间[人名]的生日是什么时候
## 时间
- 易混淆:QA提醒记忆personalData
- 划分原则:原则1:个性化信息的时间给QA或personalData自己召回,非个性信息中,只有依赖日历作为满足的,给时间问答,只包括节日、节气、假期,其他都是QA公共考试时间:中考、高考、法考、托福、雅思,给QA名人生日问答:全部给QA张三生日问答:给QA(personal data自己召回)节日时间——时间问答CalendarQA节气时间——时间问答CalendarQA假期时间——时间问答CalendarQA暑假寒假时间——时间问答CalendarQA要查黄历的——QA阅兵是哪天——QA
- 满足边界问题:中考是什么时候雷军的生日是什么时候三湾改编是什么时候我的生日是什么时候五一劳动节
## 时间距离计算
- 易混淆:提醒
- 划分原则:原则2timeDistance(),依赖实时时间结果的时间计算都给时间问答>数学,不管时间和个性化是否相关,包括个性化生日,个性化纪念日等(类比:导航到我家,我家在哪,北京到洛杉矶的距离,北京到上海的距离)节假日、具体事件的时间距离计算,中控planning会识别到timeDistance(start, end) 这个函数下.备注:航班还有多久,外卖还有多长时间到,这些不属于timeDistance离我的生日还有多少天离xxx节日还有多少天离结婚纪念日还有多少天距离毛主席诞辰还有多少天离雷军生日还有多少天离阅兵还有几天原则3:不依赖实时时间的时间计算,如果是时间距离计算出timeDistance(),如果不是距离计算,其他时间相关的计算给QA()8月比7月多几天闰年比平年多几天暑假比寒假多几天原则4:时间常识类给QA一年有多少天8月有多少天五一节有多少天暑假有多少天今年暑假有多少个周末?原则5:精品垂域的时间距离计算离春运还有多久Life skill满足,出timeDistance() functiontime垂域的范围:问答+时间距离计算+其他时间计算(有多少工作日)节日时间节气时间固定假期时间时间点(具体几点)典型示例:五一劳动节--QA五一假期--QA五一假期是哪天--calenderQA五一假期从哪天到哪天--calenderQA五一有周末么--calenderQA五一有几天--calenderQA五月有几天--QA五月刨去五一还有几天--QA五一为什么有5天假期--QA到五一有几天--timeDistance到五一有几个周末--timeDistance五一比十一少几天--QA五一天数多还是十一天数多--QA
- 满足边界问题:(已共识)我的生日还有多久
## 数学计算
- 划分原则:结论1:所有的数学公式,可计算的,都可以接。是公式计算功能,需要给出一个可计算的公式,而不是公式问答或者列公式。
- 满足边界问题:边界1:数学计算的范围
## 竖式计算
- 划分原则:原则1:必须明确表达要“列竖式”计算,其他可以认为是公式计算或mathQA
## 数学计算
- 划分原则:原则1:这个功能由于很难判断一个计算是否是数列计算,因此把这个标签拆分为公式计算和mathQA。此类别如果符合公式计算的特征给formula计算,否则给MathQA。
## 简单数学问题
- 划分原则:原则:给mathQA,短线给arith即可
## 标准身高计算标准体重计算
- 划分原则:原则:给mathQA,短线给arith即可
## 工资税收计算
- 易混淆:QA
- 划分原则:原则:给mathQA,短线给arith即可
- 满足边界问题:(待讨论)边界1:除了工资税收计算,其他税收问题谁负责?买一套120万的房子能要交多少税
## Kinship
- 易混淆:音乐
- 划分原则:原则:给mathQA,短线给arith即可
- 满足边界问题:边界1:单实体歧义的不给音乐,没有明确说播放的,缺少明确意图的,默认是关系计算爸爸的爸爸叫什么
## 实数性质与计算
- 易混淆:QA
- 划分原则:原则:给mathQA,短线给arith即可
- 满足边界问题:(待讨论,范围太小了,全部走mathQA()))生成一个随机数
## 主动记忆
- 易混淆:Chat地图导航
- 满足边界问题:(@乔国辉)1、主动记忆,必须说记一下或收藏xxx,是tools实现结构化记忆,tools召回我的家庭地址是xxxx我的身份证号是xxxx非结构化记忆,必须明确记忆关键词,记一下我喜欢吃苹果2、被动记忆,tools不接(dialogAgent)。 我喜欢吃苹果边界1:和聊天、地图边界我的学校在xxxx我的地址xxxx(手机和车载有区别,车载给地图,手机给记忆)我学校的地址是xxxx我爸的地址是xxxxx我女儿学校地址是xxxx记忆只关注结构化记忆,但记忆关键字相关的都给记忆:证件、邮箱、手机号、地址;边界2:记一下xxx,收藏xxxx,所有垂域的收藏功能和记忆的关系记一下这个加油站(地图导航)收藏这首歌收藏这个地址收藏这个电台
## 打电话
- 易混淆:应用控制
- 划分原则:原则1:如果没说微信,但是打视频电话,打语音电话,默认是走APP微信电话
- 满足边界问题:拨打微信视频电话
## 发短信
- 划分原则:原则1:明确说了是发短信,才是发短信,如果发消息,发信息,默认微信APP
## 健康控制
- 易混淆:应用控制
- 划分原则:原则1:打开运动健康类需求,和打开翻译类似,属于系统APP功能,优先给工具,而不是APP
- 满足边界问题:运动健康:打开小米运动健康运动健康:小米运动健康是一个
## 天气
- 易混淆:QA
- 划分原则:详见天气问答边界问题
- 满足边界问题:【待讨论】线上的weatherQA实际上是weatherforecast,是需要根据实时天气预报接口来回答问题,应该是天气预报需求,参考标签修改细则天气问答边界问题中定义的泛问答类属于weatherQA,weatherQA属于QA子集北京什么时候雨多海南的台风叫什么名字以下是QA:12度的天气可以出去玩吗北京3月份热不热武汉什么时候进入雨季明天能看到流星雨吗
## 课程表
- 易混淆:-
- 划分原则:查询类包含“查/什么时候/在哪/谁上/有几节”等 → 对应 search_course 子功能根据关键词进一步路由:“内容” → search_course_content“时间” → search_course_time“地点” → search_course_location“数量” → search_course_count“老师/教师” → search_course_teacher添加类包含“添加/加课/加一门”等 → 对应 add_course 子功能若出现“第几节/按节次” → add_course_by_section若出现“几点/按时间” → add_course_by_time操作类包含“开启/关闭/打开设置”等 → 对应 class_schedule_operation“开启” → open_class_schedule“关闭” → close_class_schedule“打开设置” → set_class_schedule
- 满足边界问题:课程表查询/添加/操作均属于清晰的意图范围,没有很混淆的边界问题
## 留言
- 易混淆:无
- 划分原则:创建 / 录制 → AddAction<object@Message, collection@MessageList>触发词:留言/创建/录一条/给××留话/说给家里听…2)查看 / 收听 → CheckAction<object@Message, sourceCollection@MessageList>触发词:查看/打开/有留言吗/今天有留言吗/播放/收听/听留言。3)编辑 → EditAction<object@Message, targetCollection@MessageList>触发词:编辑/修改/补充/改成…定位规则:优先按“刚才/最新/第N条/时间点/关键词”匹配;未给出时默认“最新一条”。4)删除(单条) → DeleteAction<object@Message, source@MessageList>触发词:删除/移除/把第N条删了/删掉刚才那条。5)删除全部 → DeleteAction<object@Message, source@MessageList>(mode=all)触发词:删除所有留言/清空留言。6)取消录制(进行中) → 结束录制并不保存触发词:取消留言/不要了/重来。7)唤醒留言能力 → ReceiveAction[object@Message](mailto:object@Message)触发词:打开/进入留言(模块)/唤醒留言功能。
- 满足边界问题:无本域仅处理家庭语音留言
@@ -0,0 +1,17 @@
# 应用控制和搜索边界
## 搜索|应用名(搜索|QQ音乐)
- 易混淆:tag:搜索|应用名浏览器搜索应用播放餐饮服务地图导航Agent:地图导航Agent生活服务Agent内容Agent
- 划分原则:边界原则:明确:app+(搜|查|找) ,统一类别:搜索|app分发原则:planning模型原则:浏览器搜索:控制Agent搜索|应用名:按照映射名进行不同Agent的映射
- 满足边界问题:与地图Agent的冲突:打开地图搜索附近的超市,模型的标签:搜索|地图,映射给地图Agent与生活服务Agent的冲突:打开点评搜索美食打开点评搜索附近的美食, 打开点评找美食,统一:搜索|点评,映射生活Agent;
## 应用控制
- 易混淆:tag:应用控制系统控制设备控制Agent:地图导航Agent生活服务Agent内容Agent
- 划分原则:边界原则:与内容类Agent冲突:播放类的给到内容类,打开类给到控制Agent共识原则:精品垂域优先召回,召回原则:根据用户主需求应用控制兜底,如果query中提到APP名字,则走APP应用控制
- 满足边界问题:与精品垂域的边界怎么定义,精品Agent优先,还是打开对应的App的都给到应用控制打开导航——导航打开秒表——工具打开翻译——工具打开有道翻译——APP打开地图——导航打开百度地图——APP打开大众点评——APP打开外卖——生活服务打开美团外卖——APP垂域内部的专有操作,按照对应主需求的结果映射对应的垂域打开百度地图的电子狗(控制Agent)打开百度地图的街景图层(控制Agent)打开百度地图的3D模式(控制Agent)打开大众点评点咖啡(生活服务Agent)内容类冲突:带App,播放类的给到内容类,打开类给到控制Agent打开QQ音乐我的收藏(控制Agent)打开QQ音乐播放我的收藏(内容Agent)
@@ -0,0 +1,159 @@
# 生活服务边界
## 购物
- 易混淆:边界tag:应用控制
- 划分原则:边界结论:订单类的统一都给到生活服务Agent承接,不用管对应App;planning模型分发原则生活服务Agent
- 满足边界问题:主要是冲突为应用控制,如:打开淘宝查看我的订单
## 平台比价->商品比价
- 易混淆:边界Tag:小米产品帮助应用控制产品购买航班信息查询外卖酒店
- 划分原则:边界结论:明确不包括:酒店比价(酒店)外卖比价(外卖)美食比价(美食)planning模型分发原则生活服务Agent没有比价功能,比价算在商品购买;酒店/外卖/机票 > 购物小米产品问答 > 购物
- 满足边界问题:酒店:附近最便宜的酒店航班信息查询帮我查下北京到上海航班的最低价商品购买给我买最便宜小米手机小米产品帮助小米15最低价是多少钱;冲突类别应用控制,给到:商品比价打开京东查找最便宜的小米手机;
## 商品购买
- 易混淆:边界Tag:外卖交通购票
- 划分原则:planning模型分发原则生活服务Agent
- 满足边界问题:外卖类的购买(外卖)我要买麦当劳我要买咖啡火车票,飞机票的购买等等,都属于生活服务类(交通购票)我要买火车票我要买从北京到上海的飞机票
## 商品购买|应用名
- 划分原则:planning模型分发原则生活服务Agent
## 商品推荐
- 易混淆:边界Tag:平台比价
- 划分原则:planning模型分发原则生活服务Agent
- 满足边界问题:平台比价,给到:商品推荐推荐一个最便宜的小米手机
## 商品信息对比
- 易混淆:边界Tag:通用对话
- 划分原则:planning模型分发原则明确提到小米产品是产品问答有购买意图的,同商品比价,属于商品购买无购买意图属于QA购买类意图不区分商品品类
- 满足边界问题:边界1:商品的范围是什么,非硬件设备类的对比,是否需要进行召回,给到生活服务Agent如:车厘子和樱桃有什么区别如:汤圆和元宵有什么区别边界2:你和劳斯莱斯哪个开着舒服(YU7和劳斯莱斯对比)
## 找同款
- 易混淆:边界tag:应用控制商品购买
- 划分原则:planning模型分发原则生活服务Agent
- 满足边界问题:产品购买类,给到:找同款我要买同款的手机应用控制的冲突,带APP的找同款,给到:找同款:打开小书红找同款的衣服
## 餐厅订座排号
- 划分原则:planning模型分发原则生活服务Agent
- 满足边界问题:暂无
## 餐饮服务
- 易混淆:边界Agent:通用对话Agent,美食的相关问答,是否承接;地图Agent
- 划分原则:边界结论:按照POI的属性类别,如果是美食,给到生活服务;planning模型分发原则生活服务Agent菜谱-菜谱问答相关问题——QA美食查找,餐厅查找类——生活服务美食问答和餐厅问答——生活服务q=世界上最顶级的餐厅有哪些附近的海底捞--海底捞什么东西好吃--哪个海底捞好吃--海底捞为什么好吃--海底捞评分怎么样岱山最好吃的海鲜菜在哪里兰州拉面来源于哪里保定特色美食有什么鲁菜菜系有哪些名菜
- 满足边界问题:与地图Agent的冲突,如果POI是美食的操作,给到:生活服务附近的海底捞附近的美食餐厅通用对话Agent主要是美食的相关问答,到底谁来承接——生活服务优先(标签:美食问答-菜谱,给QA)岱山最好吃的海鲜菜在哪里——生活服务兰州拉面来源于哪里——生活服务保定特色美食有什么——生活服务鲁菜菜系有哪些名菜——生活服务
## 打车
- 易混淆:边界Agent:控制Agent通用对话Agent
- 划分原则:planning模型分发原则生活服务Agent
- 满足边界问题:带有打车并且带有App数据,后续给到生活服务承接打开美团打车打车的相关问答——生活服务从家到公司打车需要多少钱
## 电影票购买
- 易混淆:边界Tag:商品购买内容问答导航
- 划分原则:planning模型分发原则生活服务Agent电影票问答相关——生活服务电影问答——内容问答TODO:找附近的电影院? ——生活 或 导航
- 满足边界问题:找附近的电影院?产品购买类,都是生活服务承接,电影票购买给到电影票我要买一张明天的电影票内容问答:**的电影票房是多少**电影什么时间上映
## 航班信息查询
- 划分原则:planning模型分发原则生活服务Agent
## 交通购票
- 易混淆:边界Agent:控制Agent地图Agent工具Agent边界Tag:应用控制地图问答时间航班信息查询
- 划分原则:planning模型分发原则生活服务Agent春运相关都给生活服务,不走工具时间类A到B坐什么车如果明确提到火车、飞机、高铁,是生活服务默认是导航A到B坐飞机多长时间,边界问题,QA和生活服务互相兜底北京飞洛杉矶的航班要飞多久——生活服务中国飞美国要飞多久——QA
- 满足边界问题:应用控制类冲突,主要是打开12306进行火车票相关的查询与购买,确认先给到生活服务用12306查一下明天从平顶山到苏州的火车票(生活服务)打开12306查看我的车票(控制Agent)边界数据与地图Agent,确认给到地图Agent; 从北京到上海坐火车需要多久;工具Agent(时间)的边界数据:——生活服务距离春运还有多久-——生活服务今年什么时候是春运——生活服务航班信息查询,确认:关于机票,给到航班信息查询;订一张10月31号从武汉飞往重庆的飞机票帮我查看一下飞机票
## 酒店
- 易混淆:边界Agent:通用对话
- 划分原则:planning模型分发原则生活服务Agent酒店问答、评价、推荐——生活服务单实体——偏向QA(先不动),长线出综合卡片单实体问题,美食、旅游、酒店都是类似(TODO)
- 满足边界问题:酒店相关介绍或通用问答问答,给到生活服务Agent,如:如家酒店好不好介绍一下如家酒店如家酒店哪个房型比较舒服如家酒店(单实体)——QA
## 快递服务
- 易混淆:边界tag:应用控制外卖、闪送
- 划分原则:能否通过手机号查快递——QA订单编号是250815的一般是哪个快递——QA现有只支持:寄快递,查快递,满足是打开某APP(支付宝)(TODO)
- 满足边界问题:应用控制内的快递服务,确认给到生活服务Agent打开支持宝查看我的快递查看京东物流外卖类别:我的蛋糕到哪了?(边界数据)
## 旅游
- 易混淆:边界Agent:通用对话地图Agent
- 划分原则:planning模型分发原则生活服务Agent旅游问答,景区问答,给生活服务
- 满足边界问题:通用对话Agent主要是景点的相关问答,到底谁来承接——旅游问答,给生活服务湖北省博物馆要预约吗贵州千户苗寨适合推婴儿车去不赣州有摩天轮吗总统府可以自己带水或者零食吗八月份去哪里不热宁波有什么特色与地图Agent的冲突,给到生活服务Agent; 附近的公园附近的景点
## 生活服务
- 易混淆:边界tag:景点美食外卖冲突的Agent:地图Agent
- 划分原则:planning模型分发原则生活服务Agent
- 满足边界问题:与地图类的主要冲突,在于附近POI的查找,边界冲突未解决(生活服务Agent)给我寻找附近的羽毛球馆与景点,美食,外卖冲突的优先给具体的类别:附近的美食附近有什么好玩的帮忙点个外卖
## 团购
- 易混淆:团购,能力还未建设,先都给生活服务,但不额外区分
- 划分原则:(TODO
- 满足边界问题:与生活服务,购物相关全部都会有冲突;团购火车票团购麦当劳团购故宫门票
## 外卖
- 易混淆:边界tag:商品购买快递服务
- 划分原则:只支持点外卖,查外卖点外卖可以指定外卖员帮我送吗——QA我现在想点外卖又想吃凉拌猪耳朵但是外卖没有凉拌猪耳朵我该怎么办——生活服务
- 满足边界问题:商品购买冲突,都属于生活服务我要订外卖买咖啡快递服务,都属于生活服务我在美团上买的手机到哪了
## 话费流量服务
- 易混淆:边界Agent冲突:控制Agent
- 划分原则:planning模型分发原则生活服务Agent
- 满足边界问题:应用控制冲突,此类给到生活服务Agent打开支付宝交话费
## 生活缴费
- 易混淆:边界Agent冲突:控制Agent
- 划分原则:planning模型分发原则生活服务Agent
- 满足边界问题:应用控制冲突,此类给到生活服务Agent打开支付宝进行生活缴费打开支付宝交电费
@@ -0,0 +1,61 @@
# 系统控制和IOT设备控制边界
## 车载控制
- 易混淆:系统控制设备控制应用控制自动任务车载设备状态查询QA
- 划分原则:边界1:设备识别统一建模,对全部任意device统一定义,不区分车载还是iot场景,默认device是本机。在device正确的前提下,是否走IOT spec协议或协同响应等由skill或control agent自己判断。(TODO,中控设备决策做到什么程度,音箱端:打开摄像头)目前扫地机、洗衣机、冰箱是3个特例。边界2:条件任务,统一建模,全部按照自动任务的形式出function边界3:在车载端,车控优先
- 满足边界问题:(待讨论)边界1:车载设备和家庭设备区分车载既有设备属性又有房间属性,因此车载设备可能和家庭设备存在冲突,例如“空调”、“冰箱”、“灯”边界2:车载控制和自动任务(见下面自动任务)车载控制部分指令也存在条件,和自动任务语义存在冲突倒车时后视镜自动下翻需要明确定义出来到底哪些是车载控制,哪些是自动任务手机端等如果要接入自动任务存在相似问题边界3:车载端特有的控制功能,和其他端语义存在冲突 打开360——APP/车控——长线都是控制(只区分控制和IOT)打开监控——IOT/车控(device区分)驾驶模式——QA/车控(分端)以下问题同边界1:车载端特有的控制功能定义为“车载控制”,其他端特有的控制功能会定义成“xx控制”么(其他端暂不定义新的标签)如果把IOT设备拿到车上进行语控,是否属于车载控制(同边界1)对于主控设备的操作是否属于设备控制:(对手机说和对车说不一样,协同响应如何迁移planning模型?)打开车窗打开车辆座椅加热打开车辆方向盘加热打开电视电视播放小猪佩奇跟手机说——IOT电视跟电视说——主控设备跟车说——车载后排电视在当前设备上的系统级别控制请求,但是带设备关键字,是否属于设备控制:电视发起请求:query = 电视音量大一点电视发起请求:query = 电视亮一点手机控车、家控车不属于设备控制,任何控车场景都属于车载控制。例如手机或音箱端发起如下请求:打开车窗打开座椅加热打开方向盘加热主控设备(例如电视、音箱)只有支持spec协议的功能才支持IOT控制,其他不支持的功能需要走协同响应,但是两种场景query类别均属于“设备控制”。例如音箱控电视场景:走IOT控制的功能:打开电视走协同响应的功能:电视播放小猪佩奇在当前设备发起控制当前设备的指令属于系统控制,不属于设备控制:电视发起请求:query = 电视音量大一点音箱发起请求:query = 电视音量大一点
## 系统控制
- 易混淆:设备控制车载控制应用控制声纹相机控制设备查找闲聊
- 划分原则:控制类和端类型强相关,收音设备优先原则系统控制是偏向兜底控制的选择,其他类型的控制偏向白名单实现优先级高于系统控制。例如“声纹”、“相机控制”等功能本质也是调用当前设备系统层面的能力
- 满足边界问题:边界1:系统控制和闲聊边界(TODO @苏会钰)q=再见,q=拜拜,认为是退出q=好了,再见吧q=睡觉了q=谢谢q=谢谢,拜拜q=休息吧部分设备端特有的控制功能可能和其他端存在冲突:镜片颜色调深一点眼镜端:tag = 系统控制手机端:tag = 相机这个内容帮我读一遍眼镜端:tag = 图片问答手机端:tag = 系统控制
## 系统定时控制
- 易混淆:自动任务系统定时控制设备定时控制备忘录-提醒设备控制
- 划分原则:长线:全端都统一为自动任务的表示方式短线:适配区分支持自动化和不支持的场景(中控推进)
- 满足边界问题:自动任务和设备定时控制 & 系统定时控制的冲突:(全部统一成:条件任务,基于该前提重新review function定义)条件统一定义,时间或操作条件执行的action包括:控制、提醒、autotaskquery五分钟后关空调五点关空调五点关机倒车时后视镜自动下翻自动任务和提醒的冲突:早上五点提醒我吃饭十分钟后提醒我吃药
## 自动任务
- 划分原则:如果query中的条件部分和定时或延时相关,且执行动作和设备控制、系统控制、提醒相关,则自动任务类别不召回。其他场景自动任务召回,自动任务需要召回的典型场景为:十分钟后导航去五彩城下车提醒我拿手机十分钟后关闭空调和座椅加热
## 设备查找
- 易混淆:记忆个人信息
- 划分原则:小爱你在哪——控制xxxx在哪——无法区分设备是否是小米的可以记忆统一处理非小米手机、平板、耳机、手环的查找请求不属于设备查找,属于个人信息(TODO)
- 满足边界问题:边界1:是否支持非小米设备:设备查找只支持小米手机、平板、耳机、手环。不支持其他品牌设备或其他物品查找,如下case不属于设备查找:我的苹果手机在哪我的袜子在哪帮我记住我的ipad放书包里了,之后问我的Ipad放哪了
## 家庭传声
- 易混淆:闲聊
- 划分原则:有歧义的都认为是闲聊,只有明确语义的是家庭传声query中明确包含家庭传声场景关键字的才给到家庭传声,例如:包含房间或房屋信息:向屋里传个声门没关包含家庭、家人等关键字:跟家里人说洗澡水好了
- 满足边界问题:边界1:和闲聊场景可能存在冲突对小红说你好(小红是音箱)让小红说你好(小红是音箱)对音箱说你好(小红是音箱)告诉小明记得吃饭
## 声纹
- 易混淆:个人信息记忆
- 划分原则:和声纹的记录需要给声纹,其他场景的记录给记忆或个人信息
- 满足边界问题:和个人信息、记忆存在冲突:记录电话记录外卖地址
## 相机
- 易混淆:应用控制
- 划分原则:针对第三方相机,无法在系统层面进行控制。因此只有原生相机才给到“相机”tag,第三方相机的操作给应用控制
- 满足边界问题:和相机相关的app边界存在冲突:打开黄油相机返回美图相机
@@ -0,0 +1,55 @@
# 通用问答边界
## 医疗问答
- 划分原则:时间问答见tools的文档Label定义-工具类如果用户query的满足方式是通过生活服务app(类似美团、大众点评等)搜索附近商家、购买食品等,这种要给生活服务中的美食,但是用户query的满足方式是获取做饭方面的知识,这种给到QA处理优先其他问答垂域,如果其他问答垂域不召,给到QA明确时间节点的时间计算的问答给到时间,不明确的时间计算,例如属狗的今年几岁了,龙年出生的人今年多大了,这种由于无法获取到具体时间,所以不能给时间垂域进行计算,只能给到通用问答优先其他搜索垂域,如果其他问答垂域不召,给到QA
## 星座
- 易混淆:时间
- 满足边界问题:六月二十一日是什么日子/节日
## 烹饪指南
- 易混淆:美食
- 满足边界问题:我附近有什么好吃的
## 问答
- 易混淆:时间、数学、天气、内容问答、地图问答、电话、产品问答、生活服务
- 满足边界问题:优先其他问答垂域,如果其他问答垂域不召,给到QA
## 民俗
- 易混淆:时间
- 满足边界问题:2000年出生的今年是几岁
## 股票查询
- 易混淆:QA()
- 满足边界问题:推荐一只股票查询一下今年涨的最好的医疗股
## 重说
- 易混淆:系统控制
- 满足边界问题:你刚才说什么
## 搜索
- 易混淆:浏览器搜索含“百度/谷歌/搜一下”等 → 浏览器搜索(搜索引擎)。和各精品搜索之间的冲突:媒体资源类(音乐/电台/视频) 用户可能只是要“找”资源,但同时这些领域都有自己的播放类意图。“搜索/找/查” 且目标是歌曲、歌手、电台节目、视频 → 音乐搜索/电台搜索/视频搜索(落资源域的搜索子类,而不是通用搜索)。地图/生活相关搜索:带“地图搜/查找××地点/搜附近的××” → 落 地图|搜索。“搜附近餐厅/搜酒店/搜电影票” → 生活服务|搜索。图片搜索:“找/搜/图片/表情包/动图” → 图片产品/购物类的搜索:“搜小米品牌/型号/买/比价/同款” → 购物/产品推荐。在应用中搜索:在哔哩哔哩中搜索好看视频 搜索|哔哩哔哩
- 划分原则:百科型单个名词实体(人/地/物/书/组织) → 百科(BaikeEntry)。衍生问句型(是谁/是什么/哪里) → Qabot(人物、概念、地理等)。知识类 QA明确对应到兜底知识库(化学式、节日来历、歇后语、古诗词、翻译等) → Qabot。和其他域冲突时图片为主 → 图片搜索导航为主 → 地图导航明确创作意图(写/生成/作文) → 文本创作医疗、菜谱、汽车等有单独垂域时 → 垂域优先
## 图片问答
- 易混淆:地图问答
- 划分原则:图片问答所使用的信息源只有图片,没有其他方法调用或信息查询,如果使用了其他方法或信息源,给到其他具体垂域(待讨论)图片问答和翻译、文档总结、走哪问哪等边界问题
- 满足边界问题:【大原则】图片问答、拍照问答、屏幕问答、前车识别不做区分,未来都给VisionQA,图片来源通过imagesource来区分。备注:imagesource从qurey中提取,不会考虑设备类型。如果query中无法体现来源信息:屏幕、拍照、图片之一,则值为unknown,由下游skill满足侧决策。如果有精品垂域能满足,优先给能满足的精品垂域,否则给图片问答或者QA兜底。【和其他垂域的边界】地图问答和图片问答的边界:【方位指示代词】+【建筑、楼、poi】给地图问答,地图问答的实际满足能力分端,但是语义code层面不用分端,具体如下:车载、眼镜:地图问答有多模态能力,结合location、图片进行满足。对应意图标签:拍照问答。手机:地图问答没有多模态能力,结合location进行普通文本问答。QA和图片问答的边界:主要是模糊类query,不同端不一致,比如:q=比如我前边是什么东西?手机端:应该给QA兜底。因为【东西】非建筑等宏观物体,因此不给地图问答;手机没有view视野,因此没有前边的概念,不能给拍照问答。眼镜端:拍照问答,有实时视野画面,需要进行视觉理解。车载端:QA,歧义query,图片问答、地图问答都不接。记忆和图片问答的边界,记忆有多模态能力,优先给记忆精品垂域。举例:记一下这个卡路里。打电话和图片问答的边界,打电话有多模态能力,如果这个是指屏幕上的电话,优先给电话。举例:打给这个电话和文档总结的边界,文档总结有多模态能力,文档总结的多模态问答优先给文档总结和其他Agent,由于如下Agent没有多模态能力,因此按照原则由图片问答兜底,由于理解用户query需要视觉能力,因此图片问答优先级高于QA,包括如下,内容agent,举例:屏幕上这歌原唱是谁、播放这部电影WeatherQA,举例:照片中城市最近的天气lifeAgent,举例:图中景点门票多少钱、图中手机多少钱、帮我买屏幕上这款汽车controlAgent:安装这个app