Update screen operation label knowledge
This commit is contained in:
@@ -0,0 +1,35 @@
|
||||
# 屏幕操作
|
||||
|
||||
## 标注输出
|
||||
|
||||
- 旧 tag 标签:屏幕操作
|
||||
- Agent 形式(推荐最终输出):Agent(tag="屏幕操作")
|
||||
- 输出形态:intent 包装,直接 Agent(tag="屏幕操作"),非 function program
|
||||
|
||||
## 功能抽象
|
||||
|
||||
屏幕内已呈现 GUI 元素的点击/点选操作
|
||||
|
||||
## 适用范围
|
||||
|
||||
针对当前屏幕上已呈现的 UI 元素(按钮、图标、卡片、海报、列表项、开关、菜单项等)执行点击、点选、选中,如"点击订购信息""点我的历史""点某电影海报""点某图标""点会员卡片"。是对已可见界面元素的直接操作。
|
||||
|
||||
## 典型 Query
|
||||
|
||||
点击订购信息 / 点一下账号管理 / 我想点我的历史 / 帮我点我的想看 / 点击设置 / 点一下通知中心 / 点某电影海报 / 点某节目封面 / 点某开关图标 / 点小米影视VIP会员卡片
|
||||
|
||||
## 易混淆标签
|
||||
|
||||
- 应用控制:打开/关闭/卸载某 App 或跳转到某页面("打开页面"),屏幕操作是"点击页面内已有元素"
|
||||
- 系统控制:系统级设置项开关调节(亮度/音量/护眼等),非 GUI 元素点击
|
||||
- 图片问答(VisionQA):对屏幕内容做识别/问答,非点击操作
|
||||
|
||||
## 划分原则
|
||||
|
||||
- 已呈现界面元素的点击/点选 → 屏幕操作
|
||||
- 打开/进入某应用或某设置页 → 应用控制 / 系统控制
|
||||
- query 明确"点/点击/点一下/选中" + 界面元素名 → 屏幕操作
|
||||
|
||||
## 未解决问题
|
||||
|
||||
待补充。
|
||||
@@ -1017,8 +1017,8 @@
|
||||
"agent": "controlAgent",
|
||||
"instruction_type": "指令操作",
|
||||
"name": "屏幕操作",
|
||||
"path": "knowledge/输出能力/意图目录.md",
|
||||
"scope": "对屏幕页面内容进行点击、滑动、复制等"
|
||||
"path": "knowledge/标签/屏幕操作/屏幕操作.md",
|
||||
"scope": "屏幕内已呈现 GUI 元素的点击、点选、选中"
|
||||
},
|
||||
{
|
||||
"agent": "controlAgent",
|
||||
|
||||
Reference in New Issue
Block a user