zk-data-agent/skills/label-master/knowledge/标签/屏幕操作/屏幕操作.md

屏幕操作

标注输出

• 旧 tag 标签：屏幕操作
• Agent 形式（推荐最终输出）：Agent(tag="屏幕操作")
• 输出形态：intent 包装，直接 Agent(tag="屏幕操作")，非 function program

功能抽象

屏幕内已呈现 GUI 元素的点击/点选操作

适用范围

针对当前屏幕上已呈现的 UI 元素（按钮、图标、卡片、海报、列表项、开关、菜单项等）执行点击、点选、选中，如"点击订购信息""点我的历史""点某电影海报""点某图标""点会员卡片"。是对已可见界面元素的直接操作。

典型 Query

点击订购信息 / 点一下账号管理 / 我想点我的历史 / 帮我点我的想看 / 点击设置 / 点一下通知中心 / 点某电影海报 / 点某节目封面 / 点某开关图标 / 点小米影视VIP会员卡片

易混淆标签

• 应用控制：打开/关闭/卸载某 App 或跳转到某页面（"打开页面"），屏幕操作是"点击页面内已有元素"
• 系统控制：系统级设置项开关调节（亮度/音量/护眼等），非 GUI 元素点击
• 图片问答（VisionQA）：对屏幕内容做识别/问答，非点击操作

划分原则

• 已呈现界面元素的点击/点选 → 屏幕操作
• 打开/进入某应用或某设置页 → 应用控制 / 系统控制
• query 明确"点/点击/点一下/选中" + 界面元素名 → 屏幕操作

未解决问题

待补充。