Akarsh Ashok, Dinil Mon Divakaran, Vivek Balachandran · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28212 · open-access PDF
ExeBench là một trong những tiêu chuẩn được sử dụng rộng rãi nhất để đánh giá các trình biên dịch dựa trên LLM. Chúng tôi phân tích ExeBench và xác định chín vấn đề ảnh hưởng đến mức độ trung thực của một thử nghiệm đo lường một trình biên dịch. Ba trong số đó ngăn chặn các trình biên dịch LLM phục hồi mã C từ chức năng của ExeBench. Đây là thứ tự tham số mơ hồ khi các loại điểm trôi và số nguyên được trộn lẫn, các tham số không sử dụng mà lắp ráp được tối ưu hóa có thể giảm, và các hằng số được lưu trữ bên ngoài mã lắp ráp của chức năng. Sáu khác ảnh hưởng đến tính hợp lệ của thử nghiệm: các chức năng không trống rỗng mà không có sự trở lại, các loại giữ vị trí, các chức năng t
Machine translation (Meta M2M100); the English original follows.
ExeBench is one of the most widely used benchmarks for evaluating LLM-based decompilers. We analyze ExeBench and identify nine issues that affect how faithfully a test measures a decompiler. Three of them prevent LLM decompilers from recovering C code from ExeBench's function. These are ambiguous parameter order when integer and floating-point types are mixed, unused parameters that optimized assembly may drop, and constants stored outside the function's assembly code. Six more affect test validity: non-void functions without a return, placeholder types, static or inline functions removed by t
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28212, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange