Newest papers

What Do RTL Repair Benchmarks Actually Measure?

Yeyin Eva Zhu, Rishabh Ranawat · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28595 · open-access PDF

Portuguese

Os benchmarks de reparação da RTL devem medir se um modelo pode corrigir a RTL quebrada dada uma especificação. Para este fim, construímos e hash-linkamos o RTLRepairDataset, 5.784 pares de treinamento (quebrado, fixo); RTLRepairBench, 459 casos detidos com 374 mutações sintáticas e 85 comportamentais; e um recurso de avaliação que suporta a simulação e a equivalência formal. Em seguida, usamos esta infraestrutura para identificar duas confusões de medição. Primeiro, a simulação e a pontuação formal dão sinais opostos para o efeito aparente de fornecer uma especificação em uma coorte avaliada; os atributos de reset-consciência de quase todos os t

Machine translation (Meta M2M100); the English original follows.

Abstract

RTL repair benchmarks should measure whether a model can fix broken RTL given a specification. To this end, we construct and hash-bind RTLRepairDataset, 5,784 (broken, fixed) training pairs; RTLRepairBench, 459 held-out cases with 374 syntactic and 85 behavioral mutations; and an evaluation harness supporting simulation and formal equivalence. We then use this infrastructure to identify two measurement confounds. First, simulation and formal scoring give opposite signs for the apparent effect of providing a specification in one evaluated cohort; reset-aware rescoring attributes almost all of t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange