Newest papers

SWE-Bench Pro V2: A Cleaner, Harder-to-Game Coding Benchmark

Soham Dan, Jeff Da, Sanyam Bhutani, Miguel Romero Calvo, Ivan Guevara, Fernando Carabedo, Jose Bernal, Julio Reyna · 2026 · arXiv

DOI: 10.48550/arXiv.2610.24206 · open-access PDF

Vietnamese

SWE-Bench Pro là một tiêu chuẩn được sử dụng rộng rãi cho các nhiệm vụ kỹ thuật phần mềm tầm xa cho các đại lý mã hóa. Khi các đại lý cải thiện, họ tiếp cận các vấn đề nhiệm vụ mà các đại lý trước đây chưa bao giờ chạm vào và tương tác với môi trường đánh giá theo cách mà bộ phận ban đầu không mong đợi. Chúng tôi trình bày SWE-Bench Pro V2, một phân chia công cộng được sửa đổi được xây dựng để giữ tiêu chuẩn chính xác khi khả năng tiến bộ. Kiểm toán đại lý, đánh giá chuyên gia và tái triển khai mù đã sửa chữa hoặc nghỉ hưu 480 trong số 731 nhiệm vụ: 23 kỹ sư đã ký hợp đồng đã dành 404 giờ, mỗi người làm việc trong một ngôn ngữ mà họ viết chuyên nghiệp, và mỗi người sửa đổi

Machine translation (Meta M2M100); the English original follows.

Abstract

SWE-Bench Pro is a widely used benchmark of long-horizon software engineering tasks for coding agents. As agents improve, they reach task issues earlier agents never touched and interact with the evaluation environment in ways the original harness did not anticipate. We present SWE-Bench Pro V2, a revised public split built to keep the benchmark accurate as capabilities advance. Agentic audits, expert adjudication and blind re-implementation repaired or retired 480 of the 731 tasks: 23 contracted engineers spent 404 hours, each working in a language they write professionally, and every revised

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange