Refresh papers and define Agent evaluation

This commit is contained in:
wuyang
2026-07-27 16:28:23 +08:00
parent 8e4ff3779b
commit df475e8d90
180 changed files with 31313 additions and 160 deletions
+18
View File
@@ -74,3 +74,21 @@ follow_ups:
- 是否错过了更便宜或更稳定的路径?
- 是否产生了不可恢复的副作用?
- 失败时,日志是否足够定位原因?
## Versioned Evaluation Contract
真实 Agent 评测还必须固定 task/fixture、模型、系统 prompt、工具 schema、工作区镜像、
上下文和预算。最终成功由独立 validator 判断,而不是由 Agent 的完成声明判断。
对 baseline 和 variant 做配对比较时,至少分开报告:
- baseline fail -> variant pass: gain
- baseline pass -> variant fail: regression
- both pass
- both fail
- provider/infrastructure error。
平均成功率不能掩盖 regressions,安全违规和 false completion 也不能被成本收益抵消。
当前可执行设计见
[K1412 Agent Evaluation v1](../research/evaluation/k1412-agent-evaluation-v1.md)。