Update screen operation label knowledge
This commit is contained in:
@@ -0,0 +1,35 @@
|
|||||||
|
# 屏幕操作
|
||||||
|
|
||||||
|
## 标注输出
|
||||||
|
|
||||||
|
- 旧 tag 标签:屏幕操作
|
||||||
|
- Agent 形式(推荐最终输出):Agent(tag="屏幕操作")
|
||||||
|
- 输出形态:intent 包装,直接 Agent(tag="屏幕操作"),非 function program
|
||||||
|
|
||||||
|
## 功能抽象
|
||||||
|
|
||||||
|
屏幕内已呈现 GUI 元素的点击/点选操作
|
||||||
|
|
||||||
|
## 适用范围
|
||||||
|
|
||||||
|
针对当前屏幕上已呈现的 UI 元素(按钮、图标、卡片、海报、列表项、开关、菜单项等)执行点击、点选、选中,如"点击订购信息""点我的历史""点某电影海报""点某图标""点会员卡片"。是对已可见界面元素的直接操作。
|
||||||
|
|
||||||
|
## 典型 Query
|
||||||
|
|
||||||
|
点击订购信息 / 点一下账号管理 / 我想点我的历史 / 帮我点我的想看 / 点击设置 / 点一下通知中心 / 点某电影海报 / 点某节目封面 / 点某开关图标 / 点小米影视VIP会员卡片
|
||||||
|
|
||||||
|
## 易混淆标签
|
||||||
|
|
||||||
|
- 应用控制:打开/关闭/卸载某 App 或跳转到某页面("打开页面"),屏幕操作是"点击页面内已有元素"
|
||||||
|
- 系统控制:系统级设置项开关调节(亮度/音量/护眼等),非 GUI 元素点击
|
||||||
|
- 图片问答(VisionQA):对屏幕内容做识别/问答,非点击操作
|
||||||
|
|
||||||
|
## 划分原则
|
||||||
|
|
||||||
|
- 已呈现界面元素的点击/点选 → 屏幕操作
|
||||||
|
- 打开/进入某应用或某设置页 → 应用控制 / 系统控制
|
||||||
|
- query 明确"点/点击/点一下/选中" + 界面元素名 → 屏幕操作
|
||||||
|
|
||||||
|
## 未解决问题
|
||||||
|
|
||||||
|
待补充。
|
||||||
@@ -1017,8 +1017,8 @@
|
|||||||
"agent": "controlAgent",
|
"agent": "controlAgent",
|
||||||
"instruction_type": "指令操作",
|
"instruction_type": "指令操作",
|
||||||
"name": "屏幕操作",
|
"name": "屏幕操作",
|
||||||
"path": "knowledge/输出能力/意图目录.md",
|
"path": "knowledge/标签/屏幕操作/屏幕操作.md",
|
||||||
"scope": "对屏幕页面内容进行点击、滑动、复制等"
|
"scope": "屏幕内已呈现 GUI 元素的点击、点选、选中"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"agent": "controlAgent",
|
"agent": "controlAgent",
|
||||||
|
|||||||
Reference in New Issue
Block a user