Collect first agent research and market sources

2026-07-08 12:08:24 +08:00
parent 36c2499d3c
commit 1cbc98e432
34 changed files with 3417 additions and 58 deletions
@@ -0,0 +1,65 @@
+# Paper: SWE-EVO
+
+---
+type: paper
+title: "SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios"
+authors: Minh Vu Thai Pham, Tue Le, Dung Nguyen Manh, Huy Nhat Phan, Nghi D. Q. Bui
+year: 2026
+venue:
+url: https://arxiv.org/html/2512.18470v5
+code_url: https://github.com/SWE-EVO/SWE-EVO
+source: arxiv
+collected_at: 2026-07-08
+status: skimmed
+relevance: high
+topics:
+  - coding-agent
+  - agent-evaluation
+methods:
+  - long-horizon-software-evolution
+  - benchmark
+benchmarks:
+  - SWE-EVO
+models:
+  - OpenAI
+  - DeepSeek
+  - Zhipu
+  - Qwen
+  - Moonshot
+datasets:
+  - release-notes
+related_concepts:
+  - coding-agent
+  - long-horizon-task
+related_jobs:
+  - 2026-07-08-deepseek-agent-hiring-wave-beijing-hangzhou
+related_experiments:
+  -
+related_projects:
+  -
+---
+
+## One-line Takeaway
+
+Coding agent 评估正在从单 issue 修 bug 转向多文件、多 PR、版本演进式长任务。
+
+## Problem
+
+SWE-Bench 类任务偏单点 issue，而真实工程经常要求根据 release notes 进行系统性版本演进。
+
+## Core Idea
+
+SWE-EVO 从成熟 Python 项目的 release notes 构造 48 个长程任务，平均涉及 21 个文件，并提出 Fix Rate 捕捉部分进展。
+
+## Evidence
+
+论文显示强模型在 SWE-EVO 上的解决率远低于 SWE-Bench Verified，失败更多来自语义理解和长期指令跟随，而不是简单工具操作。
+
+## Useful For Us
+
+- 适合指导 coding-agent 项目的内部评测集设计。
+- 和 DeepSeek JD 中的 AI coding tool 使用、Agent infra、评测闭环相关。
+
+## Follow-up Experiments
+
+- 选一个开源 Python 项目，用 release notes 构造小规模 SWE-EVO 风格任务。