Use prompt history for online mining records

This commit is contained in:
wuyang6
2026-05-14 17:42:08 +08:00
parent f1dc7e4b91
commit 87dd67c76a
10 changed files with 219 additions and 97 deletions
+13 -3
View File
@@ -34,7 +34,7 @@ skills/online-mining-v2/
默认数据源:
- `pre-processing*`:前处理日志,适合拿模型 prompt、模型输出、候选 domain、`excellent_domains_result`
- `arch-flat-nlp-log-f-*`:主 NLP 日志,适合拿最终 `query``domain``func``session_id``device_id``device``tts/text/to_speak`
- `arch-flat-nlp-log-f-*`:主 NLP 日志,适合拿最终 `query``domain``func``request_id``device_id``device``tts/text/to_speak`
后处理全部复用 `product-data`
@@ -89,6 +89,14 @@ skills/online-mining-v2/
}
```
时间筛选支持三种写法:
- 单日:`"date": "20260512"`
- 日期范围:`"date_from": "20260508", "date_to": "20260514"`
- 最近 N 天:`"lookback_days": 7`
用户说“一周内”“最近 7 天”时,优先传 `lookback_days: 7`;用户给明确起止日期时,传 `date_from/date_to`
### 3. 搜索候选
按策略搜索:
@@ -135,7 +143,7 @@ skills/online-mining-v2/
`build_online_records.py`。这个脚本会完成:
- 主表 `arch-flat-nlp-log-f-*` 和前处理表 `pre-processing*` 双表拉取。
- 用主表 `session_id + timestamp` 补齐当前请求前最多 10 轮 session。
- 从前处理 `promptModel``[对话历史]` 抽取模型真实输入 session,作为 `prev_session`
- 优先使用用户指定 `target`;没有指定时,按 `pre_processing.code` -> `planningOriginalResult` -> 主表 `llm_agent_info.agentType` -> 主表 `domain` 推断标签。
- 生成 product-data canonical records。
- 默认导出 `output/records.jsonl``output/records.csv`,可选导出 `training.jsonl``eval_planning.csv`
@@ -147,7 +155,7 @@ skills/online-mining-v2/
"script_path": "skills/online-mining-v2/scripts/build_online_records.py",
"stdin": {
"request_ids": ["6656271eedfe4b478ac716448a3ad310"],
"date": "20260514",
"lookback_days": 7,
"dataset_label": "线上挖掘样本",
"target": "Agent(tag=\"地图导航\")",
"complex": false,
@@ -164,8 +172,10 @@ skills/online-mining-v2/
注意:
- 老 rid 超出近 48 小时时必须让用户补日期,传 `date=YYYYMMDD`
- 如果用户说“一周内/最近 7 天”,可以直接传 `lookback_days: 7`,不必逐日循环。
- 如果用户没有指定 `target`,脚本可以从线上模型输出推断,但最终仍建议展示 `target_source` 给用户确认。
- 如果脚本返回 `case has no query`,说明该 rid 在当前日期窗口没有命中主表/前处理表,不要继续伪造元数据。
- 不要用主表 `session_id` 去拼训练/评测 session;它不是 planning 模型输入 session 的同义概念。
### 6. 给用户 review