Newest papers

SWE-Bench Pro V2: A Cleaner, Harder-to-Game Coding Benchmark

Soham Dan, Jeff Da, Sanyam Bhutani, Miguel Romero Calvo, Ivan Guevara, Fernando Carabedo, Jose Bernal, Julio Reyna · 2026 · arXiv

DOI: 10.48550/arXiv.2610.24206 · open-access PDF

Japanese

SWE-Bench Proは、エンジニアリングエージェントのための長期的なソフトウェアエンジニアリングタスクの広く使用されるベンチマークです。エージェントが改善するにつれて、彼らは以前のエージェントが触れたことがないタスクの問題に到達し、オリジナルのハーネスが予想しなかった方法で評価環境と相互作用します。我々はSWE-Bench Pro V2を紹介し、ベンチマークを正確に維持するために構築された修正された公衆分割です。エージェントの監査、専門家審査と盲目の再実装は、731のタスクのうち480を修正または引退しました:23の契約エンジニアは404時間を費やし、それぞれ彼らが専門的に書く

Machine translation (Meta M2M100); the English original follows.

Abstract

SWE-Bench Pro is a widely used benchmark of long-horizon software engineering tasks for coding agents. As agents improve, they reach task issues earlier agents never touched and interact with the evaluation environment in ways the original harness did not anticipate. We present SWE-Bench Pro V2, a revised public split built to keep the benchmark accurate as capabilities advance. Agentic audits, expert adjudication and blind re-implementation repaired or retired 480 of the 731 tasks: 23 contracted engineers spent 404 hours, each working in a language they write professionally, and every revised

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange