diff --git a/skills/label-master/knowledge/标签/屏幕操作/屏幕操作.md b/skills/label-master/knowledge/标签/屏幕操作/屏幕操作.md new file mode 100644 index 0000000..7d5e32c --- /dev/null +++ b/skills/label-master/knowledge/标签/屏幕操作/屏幕操作.md @@ -0,0 +1,35 @@ +# 屏幕操作 + +## 标注输出 + +- 旧 tag 标签:屏幕操作 +- Agent 形式(推荐最终输出):Agent(tag="屏幕操作") +- 输出形态:intent 包装,直接 Agent(tag="屏幕操作"),非 function program + +## 功能抽象 + +屏幕内已呈现 GUI 元素的点击/点选操作 + +## 适用范围 + +针对当前屏幕上已呈现的 UI 元素(按钮、图标、卡片、海报、列表项、开关、菜单项等)执行点击、点选、选中,如"点击订购信息""点我的历史""点某电影海报""点某图标""点会员卡片"。是对已可见界面元素的直接操作。 + +## 典型 Query + +点击订购信息 / 点一下账号管理 / 我想点我的历史 / 帮我点我的想看 / 点击设置 / 点一下通知中心 / 点某电影海报 / 点某节目封面 / 点某开关图标 / 点小米影视VIP会员卡片 + +## 易混淆标签 + +- 应用控制:打开/关闭/卸载某 App 或跳转到某页面("打开页面"),屏幕操作是"点击页面内已有元素" +- 系统控制:系统级设置项开关调节(亮度/音量/护眼等),非 GUI 元素点击 +- 图片问答(VisionQA):对屏幕内容做识别/问答,非点击操作 + +## 划分原则 + +- 已呈现界面元素的点击/点选 → 屏幕操作 +- 打开/进入某应用或某设置页 → 应用控制 / 系统控制 +- query 明确"点/点击/点一下/选中" + 界面元素名 → 屏幕操作 + +## 未解决问题 + +待补充。 diff --git a/skills/label-master/knowledge/索引/label_manifest.json b/skills/label-master/knowledge/索引/label_manifest.json index 130128d..aa23d7d 100644 --- a/skills/label-master/knowledge/索引/label_manifest.json +++ b/skills/label-master/knowledge/索引/label_manifest.json @@ -1017,8 +1017,8 @@ "agent": "controlAgent", "instruction_type": "指令操作", "name": "屏幕操作", - "path": "knowledge/输出能力/意图目录.md", - "scope": "对屏幕页面内容进行点击、滑动、复制等" + "path": "knowledge/标签/屏幕操作/屏幕操作.md", + "scope": "屏幕内已呈现 GUI 元素的点击、点选、选中" }, { "agent": "controlAgent",