wuyang/zk-data-agent

Fork 0

Files

T

wuyang6 e2bf012f60 feat(skill): improve multi-turn fast-slow routing

2026-07-24 17:12:25 +08:00

6.5 KiB

Raw Blame History

name, description

name	description
label-fast-slow-routing	依据 2026.7 产品标准，对单条或批量 query 进行“快 / 慢 / 模糊”三档可解释打标。先用精简标签知识召回垂域，再优先应用垂域规则；未覆盖时依次使用多指令、自动任务等结构规则和产品核心原则，并输出决策层级、规则 ID、证据、冲突和能力承接状态。用于快慢分流标注、评测、边界仲裁和 badcase 分析。

name

description

label-fast-slow-routing

依据 2026.7 产品标准，对单条或批量 query 进行“快 / 慢 / 模糊”三档可解释打标。先用精简标签知识召回垂域，再优先应用垂域规则；未覆盖时依次使用多指令、自动任务等结构规则和产品核心原则，并输出决策层级、规则 ID、证据、冲突和能力承接状态。用于快慢分流标注、评测、边界仲裁和 badcase 分析。

快慢分流打标

目标

按用户对响应速度和结果质量的预期判断 快、慢、模糊。业务垂域、结构信号和当前系统能力只参与解释与路由，不代替语义标签。

渐进加载

每条 case 按下面顺序读取，命中后及时停止，不要加载整个 references/：

第一动作读取 references/index.md，完成垂域召回和结构信号预判；垂域不明显或命中召回边界时，再读取 references/preclassification.md。
读取一个主垂域卡；只有主垂域确实无法确定时，才读取第二个候选垂域卡。
出现多轮依赖、多指令或自动任务信号时，再读取对应结构卡。多轮先重建当前任务，自动任务还要读取自动化垂域卡。
垂域和结构卡都没有明确覆盖时，才读取 references/core-policy.md。
命中标记为冲突的规则，或做规则维护时，再读取 references/policy-conflicts.md。
处理边界样本或校准时，按需读取 references/golden-examples.md。

普通 case 通常只需读取索引和一个垂域卡。不要运行时读取相邻 label-master；本 Skill 已包含所需的精简知识快照。

决策优先级

按以下优先级裁决：

用户当前任务明确给出的已批准口径。
2026.7 产品文档中的明确垂域规则。
2026.7 跨垂域结构规则。
2026.7 产品核心原则。
快系统能力状态，只记录承接情况，不修改语义标签。

垂域规则和核心原则冲突时，以垂域规则为最终结论，并记录 policy_conflict=true 和冲突证据。

工作流

提取当前 query、前轮、设备、端侧、时间窗口和已提供的能力清单。
使用索引输出一个主垂域、最多两个候选垂域，以及多指令、自动任务、上下文依赖信号。
存在上下文依赖时读取 references/structure-multi-turn.md，识别上下文关系并重建当前完整任务；不得按上一轮实际路由直接继承标签。
读取主垂域卡并查找明确规则。命中时设置 decision_level="domain"。
未命中垂域规则时检查结构卡。命中时设置 decision_level="structure"。
仍未命中时使用核心原则，设置 decision_level="core"。
做反证检查，说明为什么没有选择其他档位。
只在有明确能力清单或验证结果时填写 fast_system_pending；未检查时填 null。
需要完整落盘时，按 schema 输出并运行校验脚本。

输出

默认返回简短结论：

标签：慢
判断层级：导航/生服垂域
命中规则：NAV_SLOW_CONDITIONED_POI
依据：单地点规划带明确筛选条件，命中导航垂域慢规则。

如果外层评测协议只接受 prediction、reason 等通用字段，把层级和规则 ID 写在 reason 开头，例如：

[domain:NAV_SLOW_CONDITIONED_POI] 单地点规划带明确筛选条件，按导航垂域给慢。

需要落盘、批量评测或用户要求完整记录时，输出符合 schemas/label-record.schema.json 的对象：

{
  "query": "导航去附近评分4.5以上的泰国菜",
  "label": "慢",
  "default_route": "慢系统",
  "domain": "导航/生服",
  "candidate_domains": ["导航/生服"],
  "decision_level": "domain",
  "decision_rule_id": "NAV_SLOW_CONDITIONED_POI",
  "decision_source": "references/domain-navigation-life.md",
  "decision_path": [
    "preclassification:导航/生服",
    "domain:NAV_SLOW_CONDITIONED_POI"
  ],
  "reason": "单地点规划带明确筛选条件，命中导航垂域慢规则。",
  "evidence": ["“评分4.5以上”是明确筛选条件"],
  "counterevidence": ["核心快规则把目标明确的简单条件操作视为快"],
  "structural_signals": {
    "complex": null,
    "multi_instruction": false,
    "auto_task": false,
    "context_dependent": false
  },
  "context_used": false,
  "context_relation": "independent",
  "fast_system_pending": null,
  "route_override": null,
  "policy_conflict": true,
  "conflict_refs": ["CONFLICT_NAV_CONDITIONED_POI"],
  "confidence": "high",
  "review_required": false,
  "uncertainties": [],
  "policy_version": "FAST-SLOW-2026.7"
}

新生成的多轮记录应填写 context_relation，取值和判断方法见 references/structure-multi-turn.md。单轮或与历史无关时填写 "independent"；为兼容旧产物，该字段在 schema 中保持可选。只有实际使用了历史内容时，context_used 和 structural_signals.context_dependent 才能为 true。

使用 null 表示未评估，不要猜测端侧、上下文、能力状态或复杂度。

校验

单条记录：

python scripts/validate_label.py --record '<JSON object>'

JSON 或 JSONL：

python scripts/validate_label.py --file output/fast_slow_labels.jsonl

校验器会检查字段不变量、决策层级、知识来源文件和规则 ID。结构通过不代表语义正确。

复核门禁

满足任一情况时设置 review_required=true：

缺少会改变垂域或标签的前轮、端侧或设备信息。
当前轮明显依赖前文，但无法唯一重建原任务。
两个同优先级规则给出不同结论。
自动任务端侧未知，且不同端侧策略不同。
只能依赖未确认的能力清单。
confidence="low"。

已由优先级解决的产品文档冲突只需记录，不自动要求人工复核。

禁止事项

不按字数、句长、关键词数量或既有标签比例直接定标。
不因快系统当前不支持而把 快改成慢。
不把 complex=true 直接等同于慢。
不把所有多指令或自动任务无条件判慢，必须检查专项例外。
不把多轮、指代、确认、取消或上一轮实际路由直接等同于快慢标签。
不使用 2026.6、FAST_DIRECT 或 SLOW_* 旧策略。
不输出没有规则 ID、证据和判断层级的裸标签。

6.5 KiB Raw Blame History Unescape Escape