Newest papers

When Coding Agents Outpace Review: Evaluating PRD-Driven Development in Mature Enterprise Repositories

Tianqi Liu, Yandong Guan, Songze Li, Wenkai Wang, Gang Yu, Chengfei Lv · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26394 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các đại lý mã hóa ngày càng thực hiện các nhiệm vụ phát triển trong các kho lưu trữ doanh nghiệp trưởng thành, tuy nhiên các tiêu chuẩn chuẩn hiện có cung cấp cái nhìn sâu sắc hạn chế về việc liệu họ có hoàn thành đầy đủ các tài liệu yêu cầu sản phẩm (PRD) hay không và nơi giao hàng bị phá vỡ. Giải quyết vấn đề và phát triển từ đầu để lại sự hoàn thành PRD gia tăng không được khám phá, trong khi các bài kiểm tra cô lập cung cấp bằng chứng không đầy đủ về các yêu cầu kinh doanh và hội nhập. Chúng tôi giới thiệu PACE, một tiêu chuẩn của 43 nhiệm vụ doanh nghiệp với 750 điểm mã được kiểm toán bởi chuyên gia. Nó kết hợp tái cấu trúc yêu cầu, xây dựng tiêu chí và đánh giá dựa trên bằng chứng để đo lường sự hoàn thành PRD và kết nối các khoảng trống giao hàng với hành vi của đại lý. Trên 11 cấu hình mô hình

Machine translation (Meta M2M100); the English original follows.

Abstract

Coding agents increasingly undertake development tasks in mature enterprise repositories, yet existing benchmarks offer limited insight into whether they fulfill complete Product Requirement Documents (PRDs) and where delivery breaks down. Issue resolution and development from scratch leave incremental PRD fulfillment underexplored, while isolated tests provide incomplete evidence of business and integration requirements. We introduce PACE, a benchmark of 43 enterprise tasks with 750 expert-audited Code Points. It combines requirement reconstruction, criterion construction, and evidence-based evaluation to measure PRD fulfillment and connect delivery gaps to agent behavior. Across 11 model--scaffold configurations, most scores fall between 52.1 and 78.1; GPT-5.6-Sol achieves the highest complete-delivery rate of 14.0\%. Incomplete implementation and missing integration are the principal bottlenecks: producing individual components does not ensure a complete delivery. Evaluation achieves 95.2\% agreement with expert consensus, with lower case-level variation across judging records than repeated executions. Beyond model comparison, the benchmark provides actionable feedback for harness refinement: diagnosis guides targeted improvements, and successive harness releases raise mean performance from 59.4 to 63.0 using the same model and task suite. Code is available at https://github.com/TianqiLiu1/PACE-Bench.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Coding (social sciences), Benchmark (surveying), Software engineering, Task (project management), Principal (computer security)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange