Fix product data eval export format

This commit is contained in:
wuyang6
2026-05-11 15:27:11 +08:00
parent be731caed7
commit f22de8a40b
15 changed files with 414 additions and 71 deletions
@@ -9,6 +9,7 @@
### case: case名称
用户: 本轮 query
complex: false
target: Agent(tag='xxx')
notes: 可选,说明覆盖的问题或边界
@@ -16,6 +17,7 @@ notes: 可选,说明覆盖的问题或边界
用户: 前一轮 query
小爱: 前一轮 tts
用户: 本轮 query
complex: false
target: Agent(tag='xxx')
notes: 可选,说明覆盖的问题或边界
```
@@ -26,10 +28,11 @@ notes: 可选,说明覆盖的问题或边界
- `用户:` 表示用户 query。
- `小爱:` 表示小爱回复 tts。
- 最后一个 `用户:` 是本轮 query。
- `complex:` 是复杂度维度,必须独立填写 `true``false`;无法确定时先问用户,不要把它塞进 `target`
- `target:` 是本轮 query 对应的监督标签,必须存在。
- Agent 标签推荐写单引号形式 `Agent(tag='xxx')`,转换工具会规范成 `Agent(tag="xxx")`
- 单轮数据只需要写一行 `用户:`,然后写 `target:`
- 单轮数据只需要写一行 `用户:`,然后写 `complex:``target:`
- 多轮数据需要按照时间顺序写多组 `用户:` / `小爱:`
- 多轮数据的最后一轮只写 `用户:``target:`,不要写最后一轮 `小爱:`
- 多轮数据的最后一轮只写 `用户:``complex:``target:`,不要写最后一轮 `小爱:`
- 如果 `target` 无法确定,不要编造,必须向用户确认。
- 不要手写 `record_id``request_id``timestamp``context`