Tianqi Liu, Yandong Guan, Songze Li, Wenkai Wang, Gang Yu, Chengfei Lv · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26394 · open-access PDF
Coding-Agenten übernehmen zunehmend Entwicklungsaufgaben in reifen Enterprise-Repositorys, doch bestehende Benchmarks bieten nur begrenzten Einblick in die Frage, ob sie vollständige Product Requirement Documents (PRDs) erfüllen und wo die Lieferung unterbrochen wird. Problemlösung und Entwicklung von Grund auf lassen incrementale PRD-Erfüllung unerforscht, während isolierte Tests unvollständige Beweise für Geschäfts- und Integrationsanforderungen liefern. Wir führen PACE ein, einen Benchmark für 43 Enterprise-Aufgaben mit 750 expert-auditierten Code Points.
Machine translation (Meta M2M100); the English original follows.
Coding agents increasingly undertake development tasks in mature enterprise repositories, yet existing benchmarks offer limited insight into whether they fulfill complete Product Requirement Documents (PRDs) and where delivery breaks down. Issue resolution and development from scratch leave incremental PRD fulfillment underexplored, while isolated tests provide incomplete evidence of business and integration requirements. We introduce PACE, a benchmark of 43 enterprise tasks with 750 expert-audited Code Points. It combines requirement reconstruction, criterion construction, and evidence-based
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26394, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange