Soham Dan, Jeff Da, Sanyam Bhutani, Miguel Romero Calvo, Ivan Guevara, Fernando Carabedo, Jose Bernal, Julio Reyna · 2026 · arXiv
DOI: 10.48550/arXiv.2610.24206 · open-access PDF
SWE-Bench Pro는 코딩 에이전트를위한 장거리 소프트웨어 엔지니어링 작업의 널리 사용되는 벤치마크입니다. 에이전트가 개선함에 따라 이전 에이전트가 만져본 적이없는 작업 문제에 도달하고 원래의 벤치마크가 예상하지 못했던 방식으로 평가 환경과 상호 작용합니다. 우리는 SWE-Bench Pro V2를 소개합니다. 벤치마크가 능력이 발전함에 따라 정확하게 유지하기 위해 만들어진 개정된 공공 분할입니다. 에이전트 감사, 전문가 심사 및 맹목적 재implementation은 731 개의 작업 중 480 개를 수리하거나 은퇴했습니다 : 23 개의 계약 엔지니어는 404 시간을 보냈으며 각각 그들이 전문적으로 쓰는 언어에서 작업
Machine translation (Meta M2M100); the English original follows.
SWE-Bench Pro is a widely used benchmark of long-horizon software engineering tasks for coding agents. As agents improve, they reach task issues earlier agents never touched and interact with the evaluation environment in ways the original harness did not anticipate. We present SWE-Bench Pro V2, a revised public split built to keep the benchmark accurate as capabilities advance. Agentic audits, expert adjudication and blind re-implementation repaired or retired 480 of the 731 tasks: 23 contracted engineers spent 404 hours, each working in a language they write professionally, and every revised
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.24206, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange