Collect first agent research and market sources

papers/items/2026-king-dialogue-swebench.md

@@ -0,0 +1,63 @@
+# Paper: Dialogue-SWEBench
+
+---
+type: paper
+title: "Dialogue-SWEBench: A Benchmark for Dialogue-Driven Coding Agents"
+authors: Brendan King, Jeffrey Flanigan
+year: 2026
+venue:
+url: https://arxiv.org/html/2606.13995v1
+code_url: https://jlab-nlp.github.io/dialogue-swe-bench/
+source: arxiv
+collected_at: 2026-07-08
+status: skimmed
+relevance: high
+topics:
+  - coding-agent
+  - human-in-the-loop
+  - agent-evaluation
+methods:
+  - user-simulator
+  - dialogue-benchmark
+  - schema-guided-agent
+benchmarks:
+  - Dialogue-SWEBench
+models:
+  -
+datasets:
+  - SWE-Bench Verified
+related_concepts:
+  - human-in-the-loop
+  - coding-agent
+related_jobs:
+  - 2026-07-08-baidu-aidu-agent-fullstack-engineer-beijing
+related_experiments:
+  -
+related_projects:
+  -
+---
+
+## One-line Takeaway
+
+Coding agent 的真实能力不能只看自动修复，还要看它能不能通过对话澄清需求。
+
+## Problem
+
+现实中的 coding assistant 经常和用户交互，但主流 benchmark 多把它们评估为全自动系统。
+
+## Core Idea
+
+Dialogue-SWEBench 使用 persona-grounded user simulator，把 SWE task 改造成多轮对话评估，并提出 schema-guided agent 改善对话能力。
+
+## Evidence
+
+论文报告 schema-guided agent 相比强 baseline 提升 3-14%，并指出更强 coding model 不一定是更强 dialogue agent。
+
+## Useful For Us
+
+- 对“Agent 何时应该提问”很有启发。
+- 可以作为 coding-agent / human-in-the-loop 评估维度。
+
+## Follow-up Experiments
+
+- 给本知识库的 coding-agent 项目设计“澄清问题质量”评估。