Yeyin Eva Zhu, Rishabh Ranawat · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28595 · open-access PDF
Los benchmarks de reparación de RTL deben medir si un modelo puede corregir el RTL roto dado una especificación. Para este fin, construimos y hash-bind RTLRepairDataset, 5,784 pares de entrenamiento (roto, fijo); RTLRepairBench, 459 casos detenidos con 374 mutaciones sintácticas y 85 comportamentales; y una herramienta de evaluación que apoya la simulación y la equivalencia formal. Luego utilizamos esta infraestructura para identificar dos confusiones de medición. En primer lugar, la simulación y la puntuación formal dan señales opuestas para el efecto aparente de proporcionar una especificación en una cohorte evaluada; reset-consciencia de los atributos de rescate de casi todos los t
Machine translation (Meta M2M100); the English original follows.
RTL repair benchmarks should measure whether a model can fix broken RTL given a specification. To this end, we construct and hash-bind RTLRepairDataset, 5,784 (broken, fixed) training pairs; RTLRepairBench, 459 held-out cases with 374 syntactic and 85 behavioral mutations; and an evaluation harness supporting simulation and formal equivalence. We then use this infrastructure to identify two measurement confounds. First, simulation and formal scoring give opposite signs for the apparent effect of providing a specification in one evaluated cohort; reset-aware rescoring attributes almost all of t
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28595, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange