Improve online mining record conversion

skills/online-mining-v2/knowledge/数据源字段说明.md

@@ -28,7 +28,7 @@
 - `session_id`、`device_id`、设备类型。
 - `intention.intent_arbitrator_info.llm_agent_info.agentType`。
 
-## pre_processing：`pre-processing-info*`
+## pre_processing：`pre-processing*`
 
 适合拿前处理和规划模型判断过程。
 
@@ -65,6 +65,13 @@
 main.request_id == pre_processing.requestId
 ```
 
+精确查询时优先使用 keyword 字段：
+
+```text
+main.request_id.keyword
+pre_processing.requestId.keyword
+```
+
 join 后优先使用：
 
 - query：优先 `pre_processing` 的 query，缺失时用 `main.query`。
@@ -72,3 +79,33 @@ join 后优先使用：
 - tts：优先 `main.to_speak`，再 `main.text` 或 `display_text`。
 - label 参考：模型输出用 `pre_processing.planning_result`，线上最终结果用 `main.domain` / `main.func`。
 
+## 转 canonical record 的字段映射
+
+`build_online_records.py` 固定执行以下映射，模型不要手写转换逻辑：
+
+| canonical 字段 | 来源 |
+| --- | --- |
+| `source.type` | 固定 `online` |
+| `source.request_id` | 主表 `request_id` 或前处理表 `requestId` |
+| `source.timestamp` | 优先主表 `timestamp`，缺失时用前处理表 `timestamp` |
+| `turn.query` | 优先前处理 `responseBoby.nodes.0.core.query.query`，缺失时用主表 `query` |
+| `turn.timestamp` | 同 `source.timestamp` |
+| `prev_session` | 主表同 `session_id` 且 timestamp 早于当前请求的最多 10 轮，按时间升序排列 |
+| `prev_session[].query` | 主表历史轮 `query` |
+| `prev_session[].tts` | 主表历史轮 `to_speak/text/display_text`，没有时保留空字符串 |
+| `prev_session[].timestamp` | 主表历史轮 `timestamp` |
+| `context` | 先置 `{}`，后续由专用工具补充 |
+| `label.dataset_label` | 用户输入的批次标签 |
+| `label.target` | 用户输入 `target`；否则依次用前处理 `code`、`planningOriginalResult`、主表 `llm_agent_info.agentType`、主表 `domain` 推断 |
+| `dimensions.complex` | 用户输入，默认 false |
+| `meta` | 保存 `session_id/device_id/device/main_domain/main_func/planning_result/planning_code/hit_rules/candidate_domains/target_source` |
+
+## 按 rid 转数据的固定流程
+
+当用户说“把这个 rid 的数据拉下来作为测试数据”时：
+
+1. 如果用户没给日期，先用近 48 小时查；查不到就问用户日期，不要继续生成空数据。
+2. 调用 `build_online_records.py`，传 `request_ids`、`dataset_label`、必要时传 `target/complex/date`。
+3. 检查返回的 `summaries[].target_source` 和 `prev_session_count`。
+4. 展示 query、target、target_source、prev_session_count 给用户确认。
+5. 产物默认在当前会话 `output/records.jsonl` 和 `output/records.csv`。