Newest papers

TrustedCode: Evaluating Large Language Models for Developing Trusted Code through Automated Program Verification

Muhammad Danial, Muhammad Taimoor Khan · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30432 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các báo cáo được xác minh là công cụ chính thức, chẳng hạn như "Ai đang sử dụng AI để mã hóa?", chỉ ra rằng khoảng 30% phần trăm đóng góp mã Python vào GitHub được tạo ra bởi AI. Do sự không đáng tin cậy vốn có của mã này, xác minh chính thức xuất hiện như một cách tiếp cận đầy hứa hẹn để thiết lập sự tin tưởng vào tính chính xác của phần mềm. Mặc dù việc sử dụng các mô hình ngôn ngữ lớn (LLM) để xác minh chính thức đã thu hút sự chú ý ngày càng tăng, việc áp dụng thực tế vẫn bị hạn chế do những thách thức trong việc viết các thông số chính thức và xác minh tính chính xác của chương trình chống lại chúng. Các công cụ hiện có chủ yếu hỗ trợ xác minh cho các ngôn ngữ như Java và C, với sự hỗ trợ tối thiểu cho Python. Chúng tôi đã trình bày TrustCode, một

Machine translation (Meta M2M100); the English original follows.

Abstract

Recent reports, such as "Who is using AI to code?", indicate that approximately 30\% of Python code contributions to GitHub are AI-generated. Given the inherent unreliability of this code, formal verification emerges as a promising approach to establish trust in software correctness. Although leveraging large language models (LLMs) for formal verification has garnered increasing attention, practical adoption remains limited due to the challenges in writing formal specifications and verifying program correctness against them. Existing tools predominantly support verification for languages such as Java and C, with minimal support for Python. We present TrustedCode, an automated framework for verifying AI-generated Python code. TrustedCode uses LLMs to (i) type-check Python code, (ii) translate it into WhyML via the Why3 framework, and (iii) verify it against formal specifications using Why3 back-end automated theorem provers. Our method integrates chain-of-thought prompting through LangGraph to identify and address LLM limitations in specification generation and proving the specified programs. To evaluate TrustedCode, we conducted experiments on ten Python programs of varying complexity. Our analysis reveals that 50\% of the observed errors stem from domain knowledge gaps, 30\% from syntactic inaccuracies, and the remaining 20\% from semantic and type-related issues. These findings underscore the importance of targeted improvements in LLM-guided formal verification workflows for Python. TrustedCode is an open source tool available at: \href{github.com/mtaimoorkhan/TrustedCode}{github.com/mtaimoorkhan/TrustedCode}. The video demonstration is available at: \href{youtu.be/Nr5I2g8ec-s}{youtu.be/Nr5I2g8ec-s}

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Programming language, Python (programming language), Correctness, Java, Software engineering

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange