Migrate product-data exports to skill scripts

This commit is contained in:
wuyang6
2026-05-11 19:43:17 +08:00
parent a68302659d
commit 7dc7fa2e52
8 changed files with 112 additions and 52 deletions
@@ -51,7 +51,7 @@ canonical record 是产品数据生成链路的中间元数据格式。它不是
## 默认导出
调用 `data_agent_export_dataset_records` portable `export_dataset_records.py` 时,默认产物包括:
执行 portable `export_dataset_records.py` 时,默认产物包括:
- `records.jsonl`canonical records,一行一条紧凑 JSON。
- `records.csv`:同事流转表格,字段为 `request_id,timestamp,query,prev_session,context,label,是否迁移Function,function`
@@ -64,7 +64,7 @@ canonical record 是产品数据生成链路的中间元数据格式。它不是
训练和评测格式都从 canonical records 转换,不由模型手写:
- `training.jsonl`:每行 `{"system": "...", "instruction": "...", "output": "..."}`,由 `export_training_jsonl.py``data_agent_export_training_jsonl` 生成;`output` 会输出 `complex=true/false` 加监督标签两行。
- `eval_planning.csv`:字段为 `request_id,newPrompt,query,类别真实标签,code标签,complex`,由 `export_planning_eval_csv.py``data_agent_export_planning_eval_csv` 生成;`newPrompt` 会包上 `<|im_start|>system/user/assistant` chat template`complex` 列来自 `dimensions.complex`,按评测表习惯输出 `TRUE/FALSE`,不是固定默认值。
- `training.jsonl`:每行 `{"system": "...", "instruction": "...", "output": "..."}`,由 `export_training_jsonl.py` 生成;`output` 会输出 `complex=true/false` 加监督标签两行。
- `eval_planning.csv`:字段为 `request_id,newPrompt,query,类别真实标签,code标签,complex`,由 `export_planning_eval_csv.py` 生成;`newPrompt` 会包上 `<|im_start|>system/user/assistant` chat template`complex` 列来自 `dimensions.complex`,按评测表习惯输出 `TRUE/FALSE`,不是固定默认值。
`instruction``newPrompt` 使用同一套 prompt 主体,默认包含 `[知识注入]``[系统状态]``[对话历史]``[当前query]``[function]`。历史轮次默认最多取 5 轮,且相邻时间间隔不超过 5 分钟。