# 屏幕操作 ## 标注输出 - 旧 tag 标签:屏幕操作 - Agent 形式(推荐最终输出):Agent(tag="屏幕操作") - 输出形态:intent 包装,直接 Agent(tag="屏幕操作"),非 function program ## 功能抽象 屏幕内已呈现 GUI 元素的点击/点选操作 ## 适用范围 针对当前屏幕上已呈现的 UI 元素(按钮、图标、卡片、海报、列表项、开关、菜单项等)执行点击、点选、选中,如"点击订购信息""点我的历史""点某电影海报""点某图标""点会员卡片"。是对已可见界面元素的直接操作。 ## 典型 Query 点击订购信息 / 点一下账号管理 / 我想点我的历史 / 帮我点我的想看 / 点击设置 / 点一下通知中心 / 点某电影海报 / 点某节目封面 / 点某开关图标 / 点小米影视VIP会员卡片 ## 易混淆标签 - 应用控制:打开/关闭/卸载某 App 或跳转到某页面("打开页面"),屏幕操作是"点击页面内已有元素" - 系统控制:系统级设置项开关调节(亮度/音量/护眼等),非 GUI 元素点击 - 图片问答(VisionQA):对屏幕内容做识别/问答,非点击操作 ## 划分原则 - 已呈现界面元素的点击/点选 → 屏幕操作 - 打开/进入某应用或某设置页 → 应用控制 / 系统控制 - query 明确"点/点击/点一下/选中" + 界面元素名 → 屏幕操作 ## 未解决问题 待补充。