agent/papers/items/2026-king-dialogue-swebench.md

Paper: Dialogue-SWEBench

---

type: paper title: "Dialogue-SWEBench: A Benchmark for Dialogue-Driven Coding Agents" authors: Brendan King, Jeffrey Flanigan year: 2026 venue: url: https://arxiv.org/html/2606.13995v1 code_url: https://jlab-nlp.github.io/dialogue-swe-bench/ source: arxiv collected_at: 2026-07-08 status: skimmed relevance: high topics:

• coding-agent
• human-in-the-loop
• agent-evaluation methods:
• user-simulator
• dialogue-benchmark
• schema-guided-agent benchmarks:
• Dialogue-SWEBench models:

datasets:

• SWE-Bench Verified related_concepts:
• human-in-the-loop
• coding-agent related_jobs:
• 2026-07-08-baidu-aidu-agent-fullstack-engineer-beijing related_experiments:

related_projects:

---

One-line Takeaway

Coding agent 的真实能力不能只看自动修复，还要看它能不能通过对话澄清需求。

Problem

现实中的 coding assistant 经常和用户交互，但主流 benchmark 多把它们评估为全自动系统。

Core Idea

Dialogue-SWEBench 使用 persona-grounded user simulator，把 SWE task 改造成多轮对话评估，并提出 schema-guided agent 改善对话能力。

Evidence

论文报告 schema-guided agent 相比强 baseline 提升 3-14%，并指出更强 coding model 不一定是更强 dialogue agent。

Useful For Us

• 对“Agent 何时应该提问”很有启发。
• 可以作为 coding-agent / human-in-the-loop 评估维度。

Follow-up Experiments

• 给本知识库的 coding-agent 项目设计“澄清问题质量”评估。