agent/papers/items/2026-agent-safety-benchmark-taxonomy.md

Paper: Agent Safety Benchmark Taxonomy

---

type: paper title: "Taxonomy and Consistency Analysis of Safety Benchmarks for AI Agents" authors: year: 2026 venue: url: https://arxiv.org/html/2605.16282v1 code_url: source: arxiv collected_at: 2026-07-08 status: queued relevance: medium topics:

• agent-safety
• agent-evaluation methods:
• benchmark-taxonomy
• coverage-matrix benchmarks:
• agent-safety-benchmarks models:

datasets:

related_concepts:

• guardrail
• red-teaming related_jobs:
• 2026-07-08-tencent-cloud-ai-agent-test-engineer related_experiments:

related_projects:

---

One-line Takeaway

Agent safety benchmark 还没有收敛，做评估时不能只依赖单一 benchmark。

Problem

不同安全 benchmark 的风险覆盖、任务环境、评估方法和结论可能不一致。

Core Idea

该论文整理 2023-2026 年的 behavioral agent-safety benchmarks，并用六轴 taxonomy 和 coverage matrix 分析方法选择如何影响结论。

Evidence

搜索摘要显示论文 catalog 了 40 个 behavioral agent-safety benchmarks 和 5 个相邻 evaluator/defense/dataset artifact。

Useful For Us

• 适合作为选择 Agent safety benchmark 的二级阅读材料。
• 与 OpenAgentSafety、AgentRx、腾讯 Agent 测试岗位形成交叉验证。

Follow-up Experiments

• 根据 taxonomy 给知识库建立自己的 Agent evaluation source map。