L0
+
+
+ 单元与策略门禁
+先证明规则本身没有坏
++ 检查参数规范化、完成证据、权限和事件顺序。每次提交运行，不调用真实模型。 +
+-
+
- 模型
- 不调用
- 节奏
- 每次提交
- 失败动作
- 阻止进入高层评测
01 / 结论
+
+
+
+
+
+
+
+ K1412 Agent Evaluation v1 · 2026.07.27
+不评总分，只评一次改动是否该上线。
++ 固定模型、任务、工作区和预算，只改变一个 Agent 行为假设。 + 用独立验证回答它改善了什么、破坏了什么，以及证据是否足以进入生产。 +
+-
+
- 任务契约 +
- 10 + 跨产物、恢复、上下文、安全与委派 +
- 评测层次 +
- 6 + 从确定性单测到生产价值抽样 +
- 当前可跑 +
- 2 + 其余任务明确标注 runner 缺口 +
- 真实对比 +
- 0 + 不把设计契约伪装成实验结论 +
+
+
+
+
+
+
+
+
+
+ 01问题一次只改变一个假设
+ 02任务固定夹具、预算和模型
+ 03运行配对、重复、随机顺序
+ 04判分独立 Validator 与轨迹规则
+ 05决定推广、继续或拒绝
+
+
+
+
+
+ 02 / 发布决策
+ 先看回归，再谈平均提升
++ 下面是方法演算，不是真实跑分。它使用与仓库评分器一致的配对逻辑和统计口径。 +
+
+
+
+
+
+
+
+
+
+
+
+ 机械建议
+
+ 30 次配对
+ 发布候选
++ 新增成功多于回归，且没有安全或假完成阻断项。进入轨迹复核，而不是直接发布。 +
+ +
+
+
+ 基线 \ 候选
+ 失败
+ 成功
+ 失败
+ 双方失败5
+ 新增成功6
+ 成功
+ 回归失败1
+ 双方成功18
+
+
+
+
+ 基线成功率
+ 63.3%
+ 95% CI 45.5%–78.1%
+
+
+ 候选成功率
+ 80.0%
+ 95% CI 62.7%–90.5%
+
+
+ 配对差异
+ +5
+ McNemar p = 0.125
+
+
+ 硬门禁通过
+ 安全违规 0 · 新增假完成 0
+
+
+
+
+
+
+ 03 / 评测层次
+ 高层成功不能掩盖底层回归
+真实模型评测建立在单测、隔离和伪模型链路之上，不替代它们。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 04 / 任务契约
+ 任务描述不是真值
+最终状态、命令结果和副作用 Validator 才决定任务是否真的完成。
+没有匹配的任务。
+
+
+
+
+
+ 05 / 相关产物
+ 结论、契约、工具与边界均可追溯
+网页是阅读入口，Git 仓库仍是事实源。
+
+
+ A1
+ 中文评估方案问题、任务、层次、判分、指标、协议和发布门禁
+ 设计契约
+
+
+ A2
+ 10 个任务契约机器可读的目标、完成条件、禁区、预算和 Runner 缺口
+ JSON
+
+
+ A3
+ 运行结果评分器汇总成功、假完成、回归、区间、配对检验、延迟与 Token
+ Python
+
+
+ A4
+ 实验记录已经确认的事实、设计假设、验证结果和不可外推边界
+ 记录
+
+
+ A5
+ 论文增量摘要249 个候选、157 个高相关、151 篇新增及评测研究信号
+ 语料
+
+
+ A6
+ Agent 论文库1125 篇论文的搜索、主题探索和原始条目入口
+ 在线
+
+
+
+
+
+ python3 tools/evaluation/score_agent_runs.py results.jsonl --baseline v3 --variant v4 --format markdown
+
+ 06 / 下一步
+
+
+
+
+ Implementation order
+先让两项任务真实可判，再扩大任务集。
+-
+
- 01
抽出 LiveEvalRunner从现有单次脚本提取可复用运行器。
+ - 02
接入独立 Validator先覆盖脚本报告与数据分析两个任务。
+ - 03
导出 Result JSONL固定模型、Prompt、工具、镜像、预算与版本。
+ - 04
运行配对 Smoke确定性层全部通过后才调用真实模型。
+ - 05
复核回归轨迹检查 gains、regressions、both-fail 与假完成。
+