--- name: report-briefing description: 将数据分析、模型优化、策略下线、评测集建设、上线指标、badcase 复盘等内容整理成领导汇报版本。适合用户要求“汇报一下”“30 秒版本”“简洁结论”“给领导看”“整理回报/汇报 skill”,或需要把复杂分析产物压缩成背景、关键数据、例子、结论和后续 ToDo。 when_to_use: 用户希望把数据分析或项目进展转成汇报口径、复盘为什么之前表达不适合汇报、统一不同类型周报/项目回报格式、或需要一版面向决策者的简洁分点材料时使用。 aliases: leadership-report, exec-brief, report-summary, 汇报, 回报, 领导汇报 allowed_tools: read_file, write_file, edit_file, grep_search, glob_search, python_exec --- # Report Briefing Skill 使用这个 skill 把分析结果压缩成“领导能快速判断进展、收益、风险和下一步”的汇报,不写长篇分析报告。 ## 核心原则 1. 先交代“我们在做什么工作”和当前状态,再给数据和结论。不要一上来只写“结论”。 2. 任何指标必须同时给百分比和分子分母,格式强制为 `50%(100/200)`;对比指标写成 `old%(a/b)->new%(c/d)`。 3. 区分“指标”和“规模”:准确率、召回率、diff 率、基线、覆盖率是指标,必须带分子分母;训练集 578 条、评测集 935 条是规模,可只写数量。 4. 用少量关键数据支撑判断,不展开所有中间分析。每个数据集或评测集只保留最能支持决策的 2-4 个数。 5. 例子只服务于解释覆盖范围或典型问题,每类 1-2 个。不要把样例堆成样本列表。 6. 结构可以因任务变化,但每段都要回答一个决策问题:做了什么、效果如何、风险是什么、下一步做什么。 7. ToDo 用业务动作命名:清洗、抽审、构建评测集、模型优化、上线评估、离线对比、下线评估。不要写泛泛的“继续分析”。 ## 指标格式硬约束 所有带百分比的指标必须写成: ```text 指标名:50%(100/200) 指标名:50%(100/200)->80%(160/200) 指标名:50%(100/200)->80%(160/200)(+30%) ``` 注意: - 分子分母之间不要省略;`58.18%->73.9%` 这种不合格,除非原始材料确实没有分子分母,此时标注为 `58.18%->73.9%(缺分子分母)`。 - 同一行内有多个指标时,每个指标都要带自己的 `(a/b)`。 - `GSB:30:54:16` 这种人工对比结论不是百分比指标,可以保持原样;如有采样量,写 `采样 100 条,GSB:30:54:16`。 - 空提升或从 0 起步写 `0%(0/n)->93.72%(388/414)`,不要写 `0->93.72%`。 ## 汇报的“魂” 无论内容是模型优化、策略下线、评测集建设还是上线评估,优先抽成下面几个信息块,按需要取舍: - **工作项**:一句话说明项目目标和当前状态,例如“快慢分发问题优化,模型已上线”。 - **关键收益**:列最重要的离线/线上指标变化,使用 `old%(a/b)->new%(c/d)`。 - **安全性/上线风险**:列大盘集、TOP diff、Random diff、GSB 等兜底指标。 - **数据建设**:写清评测集/训练集规模、当前基线、覆盖范围、典型例子。 - **问题定位**:用 1-3 个分桶说明不能优化、需要策略处理、需要人工清洗的原因。 - **后续 ToDo**:每项有动作、对象、数量或验收标准。 ## 通用输出骨架 ### 项目进展/模型优化 ```markdown - <项目/问题>: - <进展状态>:<已完成训练/已上线/preview 评测中/待下线评估> - 模型优化: - <评测集 A>:-> - <评测集 B>:-> - 上线指标: - <线上回放/大盘集>:<指标%(a/b)>,<采样量和 GSB 如有> - 后续 ToDo: - <动作 + 对象 + 验收标准> ``` ### 数据/评测集建设 ```markdown - <评测集/训练集建设>: - <数据集名>( 条),<基线或当前模型>: - 覆盖范围: - <类型 A>:<一句定义> - <例子 1> - <例子 2> - <类型 B>:<一句定义> - <例子 1> - 后续:<抽审/补齐/清洗/上线评估> ``` ### 策略评估/下线 ```markdown - <策略评估/下线标题> - 数据分析:<链接> - <数据集 A>,线上样本 条: - <分桶 1>: - <分桶 2>: - <可优化/可下线/需评测>: - <数据集 B>,线上样本 条: - <分桶 1>: - <分桶 2>: - <可优化/可下线/需评测>: - 后续 ToDo: - <动作 1>:<数量 + 判断标准> - <动作 2>:<数量 + 覆盖范围> ``` 字段命名要贴近汇报对象: - `模型可优化候选` / `初筛正例评测集(模型可优化)`:用于说明模型能吃掉哪部分。 - `模型推理非复杂/无可用历史`:用于说明为什么不能直接当正例。 - `topQuery/缺 prompt`:用于说明是配置或链路口径,需单独治理。 - `上线指标`:用于说明收益是否安全。 - `覆盖范围`:用于说明数据集不是随机堆样本,而是覆盖明确问题类型。 ## topQuery 口径 topQuery 不要简单写成“清理 = 不进优化集”。先写结论: ```markdown - topQuery 当前不能直接归入模型优化,需要进一步按 query 分析并清理配置。 ``` 分析时按“配置去留”而不是“是不是复杂多轮”判断: - 意图明确的 topQuery:可能保留配置,不作为模型优化目标。例如 `播放音乐`、`关闭音乐`、`打开座椅通风`。 - 依赖上下文的 topQuery:建议下线固定配置;如果业务仍需召回,再由模型或上下文规则补。例如 `不走高速`、`走高速`、`第二个`、`添加途经点`、`停车场`、`西门`。 如果要给领导看,先给覆盖集中度: ```markdown - topQuery 影响较大,占全量 ,去重后 个 query;分布集中,Top10 覆盖 ,Top20 覆盖 。 ``` ## 粒度规则 好的汇报句子: - `processing 策略召回,线上样本 7,460 条:topQuery 22.4%(1,671/7,460),模型推理非复杂 57.8%(4,310/7,460),模型可优化 19.8%(1,479/7,460)。` - `车控意向性评测集:56.88%(372/654)->95.26%(605/654)。` - `TOP diff 率:3.96%(485/12,260),采样 100 条评估 GSB:30:54:16。` - `高置信正例评测集从 2,431 条模型可优化候选里抽审 500 条,覆盖当前轮复杂、历史复杂后的确认/选择、目的地补槽、路线修改、地图信息承接。` 避免的写法: - 只说“剩余大多是噪声”,但不给占比。 - 写 `50%` 但没有 `(100/200)`。 - 一上来写结论,没说当前在评估什么工作。 - 把 topQuery 直接等同于“不能优化”或“应该删除”。 - 列很多 query 类型但不说明它们对应什么决策。 - 写长段解释,让用户再帮忙压缩。 ## 自检清单 输出前检查: - 是否先说明了任务背景? - 所有指标是否都是 `pct%(a/b)` 格式? - 对比指标是否都是 `old%(a/b)->new%(c/d)` 格式? - 每个数据集是否有总量、分桶和占比? - 是否解释了模型优化、策略处理、数据清洗各自的边界? - topQuery 等配置类问题是否用“配置去留 + 是否需要模型补召回”的视角? - ToDo 是否能直接变成后续工作项? - 是否删除了重复解释和过深嵌套?