From b7798e998529d758210a0f126e287c55860e78e6 Mon Sep 17 00:00:00 2001
From: wuyang6 <wuyang6@xiaomi.com>
Date: Tue, 14 Jul 2026 15:00:29 +0800
Subject: [PATCH] Update screen operation label indexes

---
 skills/label-master/knowledge/标签总览.md     |  1 +
 .../knowledge/索引/label_manifest.json        | 22 +++++++++++++++----
 .../knowledge/索引/候选召回索引.md            |  1 +
 .../label-master/knowledge/索引/标签索引.md   |  1 +
 4 files changed, 21 insertions(+), 4 deletions(-)

diff --git a/skills/label-master/knowledge/标签总览.md b/skills/label-master/knowledge/标签总览.md
index 4087cf5..7ea81eb 100644
--- a/skills/label-master/knowledge/标签总览.md
+++ b/skills/label-master/knowledge/标签总览.md
@@ -28,6 +28,7 @@
 | 小米产品问答 | 小米产品、设备状态、车机/家居产品知识等 | `标签/小米产品问答/` |
 | 内容和媒体播放 | 音乐、视频、电台、新闻、古诗、笑话等播放类能力 | `标签/内容和媒体播放/` |
 | 应用控制和搜索 | 应用搜索、应用打开、浏览器搜索等 | `标签/应用控制和搜索/` |
+| 屏幕操作 | 当前屏幕已呈现 GUI 元素的点击、点选、选中 | `标签/屏幕操作/` |
 | AI创作 | 文本、图片、视频、代码等创作类能力 | `标签/AI创作/` |
 | 工具类 | 翻译、计算、日历、提醒、计时、查询等工具型能力 | `标签/工具类/` |
 
diff --git a/skills/label-master/knowledge/索引/label_manifest.json b/skills/label-master/knowledge/索引/label_manifest.json
index aa23d7d..34777e4 100644
--- a/skills/label-master/knowledge/索引/label_manifest.json
+++ b/skills/label-master/knowledge/索引/label_manifest.json
@@ -54,6 +54,7 @@
     "小憩模式",
     "小爱帮助",
     "小米产品帮助",
+    "屏幕操作",
     "工资税收计算",
     "平台比价->商品比价",
     "应用定时控制",
@@ -213,10 +214,10 @@
     }
   ],
   "counts": {
-    "agent_tags": 134,
+    "agent_tags": 135,
     "functions": 13,
     "intents": 83,
-    "labels": 125,
+    "labels": 126,
     "objects": 14
   },
   "description": "标签大师的中控标签知识库机器索引；由 scripts/build_label_manifest.py 从 Markdown 生成。",
@@ -1017,8 +1018,8 @@
       "agent": "controlAgent",
       "instruction_type": "指令操作",
       "name": "屏幕操作",
-      "path": "knowledge/标签/屏幕操作/屏幕操作.md",
-      "scope": "屏幕内已呈现 GUI 元素的点击、点选、选中"
+      "path": "knowledge/输出能力/意图目录.md",
+      "scope": "对屏幕页面内容进行点击、滑动、复制等"
     },
     {
       "agent": "controlAgent",
@@ -1597,6 +1598,19 @@
       "recommended_output_shape": "待确认。",
       "scope": "针对小米汽车特有的，区别与其他小米终端类型的设置项查询，限定在车载范围。只有在车载端给小米产品问答，在其他端是QA()，通用问答会根据知识回答其他非小米产品或通用车载功能的问题。"
     },
+    {
+      "agent_candidate": "",
+      "confusing_labels": "- 应用控制：打开/关闭/卸载某 App 或跳转到某页面（\"打开页面\"），屏幕操作是\"点击页面内已有元素\"\n- 系统控制：系统级设置项开关调节（亮度/音量/护眼等），非 GUI 元素点击\n- 图片问答（VisionQA）：对屏幕内容做识别/问答，非点击操作",
+      "domain": "屏幕操作",
+      "examples": "点击订购信息 / 点一下账号管理 / 我想点我的历史 / 帮我点我的想看 / 点击设置 / 点一下通知中心 / 点某电影海报 / 点某节目封面 / 点某开关图标 / 点小米影视VIP会员卡片",
+      "function_candidate": "",
+      "name": "屏幕操作",
+      "old_tag": "屏幕操作",
+      "path": "knowledge/标签/屏幕操作/屏幕操作.md",
+      "principles": "- 已呈现界面元素的点击/点选 → 屏幕操作\n- 打开/进入某应用或某设置页 → 应用控制 / 系统控制\n- query 明确\"点/点击/点一下/选中\" + 界面元素名 → 屏幕操作",
+      "recommended_output_shape": "",
+      "scope": "针对当前屏幕上已呈现的 UI 元素（按钮、图标、卡片、海报、列表项、开关、菜单项等）执行点击、点选、选中，如\"点击订购信息\"\"点我的历史\"\"点某电影海报\"\"点某图标\"\"点会员卡片\"。是对已可见界面元素的直接操作。"
+    },
     {
       "agent_candidate": "待确认。",
       "confusing_labels": "音乐",
diff --git a/skills/label-master/knowledge/索引/候选召回索引.md b/skills/label-master/knowledge/索引/候选召回索引.md
index 80b04fc..60fadb2 100644
--- a/skills/label-master/knowledge/索引/候选召回索引.md
+++ b/skills/label-master/knowledge/索引/候选召回索引.md
@@ -21,6 +21,7 @@
 | 介绍、解释、是什么、为什么、来源、原理、百科、搜索一下 | QA、问答、搜索、具体问答垂域 | [问答](../标签/通用问答/问答.md)，[函数目录 QA](../输出能力/函数目录.md) |
 | 写、生成、创作、润色、改写、作文、文案、剧本、诗歌 | 文本创作、作文、Generate、QA | [文本创作](../标签/AI创作/文本创作.md)，[函数目录 Generate](../输出能力/函数目录.md) |
 | 打开、关闭、调节、设置 + 音量、亮度、蓝牙、护眼、关机、截图、朗读屏幕 | 系统控制、应用控制、相机、声纹 | [系统控制-设备控制-车载控制](../边界/高频混淆/系统控制-设备控制-车载控制.md)，[系统控制](../标签/系统控制和IOT设备控制/系统控制.md) |
+| 点、点击、点一下、选中 + 当前屏幕已呈现的按钮、图标、卡片、海报、列表项、菜单项 | 屏幕操作、应用控制、系统控制、图片问答 | [屏幕操作](../标签/屏幕操作/屏幕操作.md)，[应用控制](../标签/应用控制和搜索/应用控制.md)，[图片问答](../标签/通用问答/图片问答.md) |
 | 打开、关闭、调节、设置 + 家居设备、灯、电视、扫地机、洗衣机、主卧/客厅/厨房 | 设备控制、设备定时控制、系统控制 | [系统控制-设备控制-车载控制](../边界/高频混淆/系统控制-设备控制-车载控制.md)，[设备控制](../标签/系统控制和IOT设备控制/设备控制.md) |
 | 打开、关闭、调节、设置 + 车窗、座椅、雨刮、前备箱、智驾、泊车、哨兵、驾驶模式 | 车载控制、车载设备状态查询、自动任务、系统控制 | [系统控制-设备控制-车载控制](../边界/高频混淆/系统控制-设备控制-车载控制.md)，[车载控制](../标签/系统控制和IOT设备控制/车载控制.md) |
 | 当、如果、时候、到达、之后、每、一...就、自动化、智能习惯、超级任务 | 自动任务、提醒、设备控制、车载控制 | [自动任务判断](../判断维度/自动任务判断.md)，[自动任务](../标签/系统控制和IOT设备控制/自动任务.md) |
diff --git a/skills/label-master/knowledge/索引/标签索引.md b/skills/label-master/knowledge/索引/标签索引.md
index a1f03e7..2655a46 100644
--- a/skills/label-master/knowledge/索引/标签索引.md
+++ b/skills/label-master/knowledge/索引/标签索引.md
@@ -78,6 +78,7 @@
 | 系统控制和IOT设备控制 | 小憩模式 | 小憩模式开关、休息意图触发（"我要休息"/"我要睡觉"等）、小憩状态查询 | Agent(tag="小憩模式") | x0 = Alarm(type="RESTMODE")Search(alarm=[x0]) | [小憩模式](../标签/系统控制和IOT设备控制/小憩模式.md) |
 | 应用控制和搜索 | 应用定时控制 | 应用定时控制 | Agent(tag="应用定时控制") | 待确认 | [应用定时控制](../标签/应用控制和搜索/应用定时控制.md) |
 | 应用控制和搜索 | 应用控制 | 应用控制 | Agent(tag="应用控制") | function定义：参数定义：app： 对应的应用名page: 打开的对应的页面Action: 具体的操作，如：ope... | [应用控制](../标签/应用控制和搜索/应用控制.md) |
+| 屏幕操作 | 屏幕操作 | 屏幕操作 | Agent(tag="屏幕操作") | 无，intent 包装，非 function program | [屏幕操作](../标签/屏幕操作/屏幕操作.md) |
 | 应用控制和搜索 | 搜索\|应用名(搜索\|QQ音乐) | 搜索\|应用名(搜索\|QQ音乐) | Agent(tag="搜索\|应用名(搜索\|QQ音乐)") | function定义：参数定义：app： 对应的应用名content: 需要搜索的内容示例：Query:打开快手搜索情侣... | [搜索\|应用名(搜索\|QQ音乐)](../标签/应用控制和搜索/搜索-应用名-QQ音乐.md) |
 | 应用控制和搜索 | 浏览器搜索 | 浏览器搜索 | Agent(tag="浏览器搜索") | 待确认 | [浏览器搜索](../标签/应用控制和搜索/浏览器搜索.md) |
 | 生活服务 | 交通购票 | 交通购票 | Agent(tag="交通购票") | function定义：参数定义： | [交通购票](../标签/生活服务/交通购票.md) |