Collect first agent research and market sources

2026-07-08 12:08:24 +08:00
parent 36c2499d3c
commit 1cbc98e432
34 changed files with 3417 additions and 58 deletions
@@ -0,0 +1,61 @@
+# Paper: Agent Safety Benchmark Taxonomy
+
+---
+type: paper
+title: "Taxonomy and Consistency Analysis of Safety Benchmarks for AI Agents"
+authors:
+year: 2026
+venue:
+url: https://arxiv.org/html/2605.16282v1
+code_url:
+source: arxiv
+collected_at: 2026-07-08
+status: queued
+relevance: medium
+topics:
+  - agent-safety
+  - agent-evaluation
+methods:
+  - benchmark-taxonomy
+  - coverage-matrix
+benchmarks:
+  - agent-safety-benchmarks
+models:
+  -
+datasets:
+  -
+related_concepts:
+  - guardrail
+  - red-teaming
+related_jobs:
+  - 2026-07-08-tencent-cloud-ai-agent-test-engineer
+related_experiments:
+  -
+related_projects:
+  -
+---
+
+## One-line Takeaway
+
+Agent safety benchmark 还没有收敛，做评估时不能只依赖单一 benchmark。
+
+## Problem
+
+不同安全 benchmark 的风险覆盖、任务环境、评估方法和结论可能不一致。
+
+## Core Idea
+
+该论文整理 2023-2026 年的 behavioral agent-safety benchmarks，并用六轴 taxonomy 和 coverage matrix 分析方法选择如何影响结论。
+
+## Evidence
+
+搜索摘要显示论文 catalog 了 40 个 behavioral agent-safety benchmarks 和 5 个相邻 evaluator/defense/dataset artifact。
+
+## Useful For Us
+
+- 适合作为选择 Agent safety benchmark 的二级阅读材料。
+- 与 OpenAgentSafety、AgentRx、腾讯 Agent 测试岗位形成交叉验证。
+
+## Follow-up Experiments
+
+- 根据 taxonomy 给知识库建立自己的 Agent evaluation source map。