Ruikai Shi, Zhengran Zeng, Rui Xie, Shikun Zhang, Wei Ye · 2026 · arXiv (Cornell University)
DOI: 10.48550/arxiv.2610.25308 · cited by 0 works (OpenAlex) · open-access PDF
Khi các đại lý phần mềm vẫn tạo ra và sửa đổi mã hiệu quả hơn, đánh giá khả năng của họ để xem xét thay đổi và phát hiện lỗi trở nên quan trọng. Đánh giá như vậy cần các môi trường dự án có thể thực hiện trước để điều tra và tham chiếu lỗi đáng tin cậy được hỗ trợ bởi hành vi có thể tái tạo. Các tiêu chuẩn đánh giá mã hiện có cung cấp hỗ trợ hạn chế cho sự kết hợp này. Chúng tôi trình bày một hệ thống xây dựng các trường hợp tái phát và xem xét dựa trên bằng chứng có thể thực hiện được từ các cặp cam kết cố định lịch sử và các bài kiểm tra nhà phát triển. Hệ thống trích xuất các bài kiểm tra ứng cử viên từ các thay đổi hiệu suất cố định, sau đó sử dụng các đại lý bị hạn chế để cấy lên chúng và cấu hình các môi trường cụ thể cho phiên bản trong khi duy trì mã sản xuất và kỳ vọng thử
Machine translation (Meta M2M100); the English original follows.
As software agents increasingly generate and modify code, evaluating their ability to review changes and discover defects becomes important. Such evaluation needs executable project environments for investigation and reliable defect references supported by reproducible behavior. Existing code review benchmarks provide limited support for this combination. We present a system that constructs executable regression instances from historical introducing--fixing commit pairs and developer tests. The system extracts candidate tests from fixing-side changes, then uses constrained agents to transplant them and configure version-specific environments while preserving production code and test expectations. Independent replay and evidence-based review verify whether tests that fail on the introducing version and pass on the fixing version support the proposed regression relationship. Accepted instances retain both versions' replay recipes, validated tests, and execution evidence. Repair-supported analysis and human review add root-cause locations, tested repairs, and causal explanations. These instances support bug detection and localization in code review, and enable bug repair and regression-test generation on the same defects. The system constructs 172 validated instances from 522 candidates across 11 Python projects. We evaluate three software agents with ten models and additional reasoning-effort settings on 83 manually selected, enriched instances across the three tasks. Precise root-line localization remains challenging, while baseline combinations achieve repair and regression-test generation success rates of up to 68.7% and 77.1%, respectively. Leading configurations differ by task, and higher task performance does not necessarily yield greater API-cost efficiency. Our approach provides reusable executable evidence for studying agents' defect discovery, repair, and testing capabilities.
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
Topics: Executable, Regression testing, Computer science, Python (programming language), Commit, Software engineering
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.25308, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange