Refresh papers and define Agent evaluation
This commit is contained in:
@@ -74,3 +74,21 @@ follow_ups:
|
||||
- 是否错过了更便宜或更稳定的路径?
|
||||
- 是否产生了不可恢复的副作用?
|
||||
- 失败时,日志是否足够定位原因?
|
||||
|
||||
## Versioned Evaluation Contract
|
||||
|
||||
真实 Agent 评测还必须固定 task/fixture、模型、系统 prompt、工具 schema、工作区镜像、
|
||||
上下文和预算。最终成功由独立 validator 判断,而不是由 Agent 的完成声明判断。
|
||||
|
||||
对 baseline 和 variant 做配对比较时,至少分开报告:
|
||||
|
||||
- baseline fail -> variant pass: gain;
|
||||
- baseline pass -> variant fail: regression;
|
||||
- both pass;
|
||||
- both fail;
|
||||
- provider/infrastructure error。
|
||||
|
||||
平均成功率不能掩盖 regressions,安全违规和 false completion 也不能被成本收益抵消。
|
||||
|
||||
当前可执行设计见
|
||||
[K1412 Agent Evaluation v1](../research/evaluation/k1412-agent-evaluation-v1.md)。
|
||||
|
||||
Reference in New Issue
Block a user