wuyang6
36 lines
1.4 KiB
Markdown
36 lines
1.4 KiB
Markdown
# 屏幕操作
|
|
|
|
## 标注输出
|
|
|
|
- 旧 tag 标签：屏幕操作
|
|
- Agent 形式（推荐最终输出）：Agent(tag="屏幕操作")
|
|
- 输出形态：intent 包装，直接 Agent(tag="屏幕操作")，非 function program
|
|
|
|
## 功能抽象
|
|
|
|
屏幕内已呈现 GUI 元素的点击/点选操作
|
|
|
|
## 适用范围
|
|
|
|
针对当前屏幕上已呈现的 UI 元素（按钮、图标、卡片、海报、列表项、开关、菜单项等）执行点击、点选、选中，如"点击订购信息""点我的历史""点某电影海报""点某图标""点会员卡片"。是对已可见界面元素的直接操作。
|
|
|
|
## 典型 Query
|
|
|
|
点击订购信息 / 点一下账号管理 / 我想点我的历史 / 帮我点我的想看 / 点击设置 / 点一下通知中心 / 点某电影海报 / 点某节目封面 / 点某开关图标 / 点小米影视VIP会员卡片
|
|
|
|
## 易混淆标签
|
|
|
|
- 应用控制：打开/关闭/卸载某 App 或跳转到某页面（"打开页面"），屏幕操作是"点击页面内已有元素"
|
|
- 系统控制：系统级设置项开关调节（亮度/音量/护眼等），非 GUI 元素点击
|
|
- 图片问答（VisionQA）：对屏幕内容做识别/问答，非点击操作
|
|
|
|
## 划分原则
|
|
|
|
- 已呈现界面元素的点击/点选 → 屏幕操作
|
|
- 打开/进入某应用或某设置页 → 应用控制 / 系统控制
|
|
- query 明确"点/点击/点一下/选中" + 界面元素名 → 屏幕操作
|
|
|
|
## 未解决问题
|
|
|
|
待补充。
|