Newest papers

VerusEval: Evaluating LLM-Generated Verus Specifications Beyond Verifier Acceptance

Ding Wang, Chao Jiang, Dugang Liu, Zhiwu Xu, Cheng Wen, Zhong Ming, Yuwei Liu, Xinyi Wan · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26464 · open-access PDF

Russian

Большие языковые модели (LLM) все чаще используются для генерации контрактов Verus для программ Rust вместе с доказательствами, которые их устанавливают. Тем не менее, принятие верификатора, общее измерение успеха, показывает только то, что реализация удовлетворяет созданный контракт, поэтому остается открытым, улавливает ли контракт предполагаемое поведение. Оценка генерации спецификаций, следовательно, требует методологии оценки, а не единой метрики. Мы представляем VerusEval, рамку, которая оценивает созданные контракты в шести измерениях, включая Verus-native проверки семантической тривиальности, валидированного вклада.

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) are increasingly used to generate Verus contracts for Rust programs together with the proofs that establish them. Yet verifier acceptance, the common measure of success, shows only that the implementation satisfies the generated contract, so it leaves open whether the contract captures the intended behavior. Assessing specification generation therefore requires an evaluation methodology, not a single metric. We present VerusEval, a framework that evaluates generated contracts along six dimensions, including Verus-native checks for semantic triviality, validated inp

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange