Newest papers

SWE-DIVE: Multi-Turn Coding Agent Evaluation with Dynamic User Simulation

Lorenz Brehme, Benjamin Steenhoek, Ruth Breu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.30047 · open-access PDF

French

Les agents de codage sont généralement évalués à l'aide de prompts bien formulés. Des référentiels tels que SWE-bench utilisent les problèmes GitHub existants comme input pour un agent de codage et évaluent si l'agent résout avec succès la tâche. Cependant, dans les cas d'utilisation du monde réel, les prompts ne sont souvent pas aussi bien formulés ou structurés que les problèmes GitHub existants. En outre, une session d'agent de codage n'est pas limitée à un seul prompt; elle implique généralement une interaction multi-turn dans laquelle l'utilisateur ajoute itérativement de nouvelles tâches et exigences que l'agent doit remplir. Pour évaluer ces capacités, nous avons développé SWE-DIV

Machine translation (Meta M2M100); the English original follows.

Abstract

Coding agents are typically evaluated using one-shot, well-formulated prompts. Benchmarks such as SWE-bench use existing GitHub issues as input for a coding agent and evaluate whether the agent successfully solves the task. However, in real-world use cases, prompts are often not as well-formulated or structured as existing GitHub issues. Additionally, a coding agent session is not limited to a single prompt; it typically involves a multi-turn interaction in which the user iteratively adds new tasks and requirements that the agent must fulfill. To benchmark these abilities, we developed SWE-DIV

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange