Yeyin Eva Zhu, Rishabh Ranawat · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28595 · open-access PDF
Benchmark perbaikan RTL harus mengukur apakah sebuah model dapat memperbaiki RTL yang rusak berdasarkan spesifikasi. Untuk tujuan ini, kami membangun dan menghubungkan RTLRepairDataset, 5.784 (rusak, tetap) pasangan pelatihan; RTLRepairBench, 459 kasus yang ditahan dengan 374 sintaks dan 85 mutasi perilaku; dan alat evaluasi yang mendukung simulasi dan ekuivalensi formal. Kami kemudian menggunakan infrastruktur ini untuk mengidentifikasi dua kebingungan pengukuran. Pertama, simulasi dan penilaian formal memberikan tanda-tanda yang bertentangan untuk efek yang jelas dari memberikan spesifikasi dalam satu kohort yang dievaluasi; reset-aware rescoring atribut hampir semua t
Machine translation (Meta M2M100); the English original follows.
RTL repair benchmarks should measure whether a model can fix broken RTL given a specification. To this end, we construct and hash-bind RTLRepairDataset, 5,784 (broken, fixed) training pairs; RTLRepairBench, 459 held-out cases with 374 syntactic and 85 behavioral mutations; and an evaluation harness supporting simulation and formal equivalence. We then use this infrastructure to identify two measurement confounds. First, simulation and formal scoring give opposite signs for the apparent effect of providing a specification in one evaluated cohort; reset-aware rescoring attributes almost all of t
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28595, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange