Newest papers

What Do RTL Repair Benchmarks Actually Measure?

Yeyin Eva Zhu, Rishabh Ranawat · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28595 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

RTl sửa chữa benchmark nên đo lường xem một mô hình có thể sửa chữa bị hỏng RTL được đưa ra một thông số kỹ thuật. Để mục đích này, chúng tôi xây dựng và hash-bind RTLRepairDataset, 5.784 (hỏng, cố định) các cặp đào tạo; RTLRepairBench, 459 trường hợp được giữ ra với 374 benchmark và 85 đột biến hành vi; và một bộ dụng cụ đánh giá hỗ trợ mô phỏng và tương đương chính thức. Sau đó, chúng tôi sử dụng cơ sở hạ tầng này để xác định hai sự nhầm lẫn đo lường. Thứ nhất, mô phỏng và tổng hợp chính thức cung cấp các dấu hiệu đối lập cho hiệu ứng rõ ràng của việc cung cấp một thông số kỹ thuật trong một nhóm được đánh giá; semet-aware reset-recovering thuộc tính gần như tất cả các trường hợp chẩn đoán

Machine translation (Meta M2M100); the English original follows.

Abstract

RTL repair benchmarks should measure whether a model can fix broken RTL given a specification. To this end, we construct and hash-bind RTLRepairDataset, 5,784 (broken, fixed) training pairs; RTLRepairBench, 459 held-out cases with 374 syntactic and 85 behavioral mutations; and an evaluation harness supporting simulation and formal equivalence. We then use this infrastructure to identify two measurement confounds. First, simulation and formal scoring give opposite signs for the apparent effect of providing a specification in one evaluated cohort; reset-aware rescoring attributes almost all of the simulation-formal disagreement to reset and first-cycle comparison semantics. Second, on 274 mined model failures, the specification-only minus specification-conditioned recovery point estimate ranges from -8.5 to +18.3 percentage points across six models. Thus, a conventional repair score need not isolate whether the model used the faulty RTL. We translate these findings into evaluation controls: report initialization, reset, first-cycle, and unknown-value semantics; disclose oracle coverage and undecided cases; and include a specification-only baseline. Together, the resources and audit provide both a benchmark for behavioral repair and a protocol for diagnosing what contributes to its measured score. We release the benchmark, the training set, construction code, sanitized aggregate evidence, and reproduction materials at https://github.com/Evaaaz/RTLRepairBench.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Benchmark (surveying), Reset (finance), Oracle, Construct (python library), Measure (data warehouse)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange