Newest papers

What Do RTL Repair Benchmarks Actually Measure?

Yeyin Eva Zhu, Rishabh Ranawat · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28595 · open-access PDF

Russian

Ремонтные ориентиры RTL должны измерять, может ли модель исправить сломанный RTL с учетом спецификации. Для этого мы конструируем и хешируем RTLRepairDataset, 5,784 (разбитые, фиксированные) пары тренировок; RTLRepairBench, 459 выдержанных случаев с 374 синтаксическими и 85 поведенческими мутациями; а также инструмент оценки, поддерживающий симуляцию и формальное эквивалентность. Затем мы используем эту инфраструктуру, чтобы идентифицировать два путаницы измерений. Во-первых, симуляция и формальное баллотирование дают противоположные признаки для видимого эффекта предоставления спецификации в одной оцениваемой когорте; атрибуты восстановления восстановления почти всех т

Machine translation (Meta M2M100); the English original follows.

Abstract

RTL repair benchmarks should measure whether a model can fix broken RTL given a specification. To this end, we construct and hash-bind RTLRepairDataset, 5,784 (broken, fixed) training pairs; RTLRepairBench, 459 held-out cases with 374 syntactic and 85 behavioral mutations; and an evaluation harness supporting simulation and formal equivalence. We then use this infrastructure to identify two measurement confounds. First, simulation and formal scoring give opposite signs for the apparent effect of providing a specification in one evaluated cohort; reset-aware rescoring attributes almost all of t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange