From Software History to Executable Regression Tasks: A System for Evaluating Software Agents

Ruikai Shi, Zhengran Zeng, Rui Xie, Shikun Zhang, Wei Ye · 2026 · arXiv

DOI: 10.48550/arXiv.2610.25308 · open-access PDF

Arabic

وبما أن شركات البرمجيات تنتج وتعديل الكود بشكل متزايد، فإن تقييم قدرتها على مراجعة التغييرات وتحديد المخاطر أصبح مهمًا. يحتاج هذا التقييم إلى بيئات المشاريع التنفيذية للتحقيق والتوجيهات الموثوق بها عن المخاطر التي تدعمها السلوك المتكرر. توفر معياراً متكاملة للتقييم الكود الموجودة دعمًا محدودًا لهذا الجمعية. ونحن نقدم نظامًا يُصنع إشكالات التردد التنفيذية من زوجات المساعدة التاريخية التي يتم إرسالها وتجهيزها.

Machine translation (Meta M2M100); the English original follows.

Abstract

As software agents increasingly generate and modify code, evaluating their ability to review changes and discover defects becomes important. Such evaluation needs executable project environments for investigation and reliable defect references supported by reproducible behavior. Existing code review benchmarks provide limited support for this combination. We present a system that constructs executable regression instances from historical introducing--fixing commit pairs and developer tests. The system extracts candidate tests from fixing-side changes, then uses constrained agents to transplant

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Is this paper real? This page was built from OpenAlex and arXiv records, not generated. Software can verify any reference in one call: GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.25308, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txt

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange