Newest papers

Pattern-Driven Evaluation of LLM Code Optimization: Isolating Compiler-Transcendent Semantic Reasoning

Wesley Lu, Runzhou Liu, Hongru Du, Xinyao Yi · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.24835 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các đánh giá hiện tại về tối ưu hóa mã dựa trên LLM chủ yếu đo tốc độ từ đầu đến cuối, che giấu xem một mô hình có thực sự thực hiện tối ưu hóa dự định hay không. Đối với các ngôn ngữ được biên dịch, điều này đặc biệt có vấn đề: lợi ích quan sát có thể phản ánh các biến đổi đã được phục hồi bởi các trình biên dịch tối ưu hóa hiện đại thay vì hành vi tối ưu hóa do mô hình tự tạo ra. Chúng tôi trình bày PatternBench, một tiêu chuẩn để nghiên cứu tối ưu hóa vượt quá trình biên dịch, tức là cải thiện hiệu suất còn lại sau khi tối ưu hóa biên dịch tích cực. PatternBench nhắm mục tiêu các cơ hội tối ưu hóa còn lại trên bảy lớp biến đổi và đánh giá thời gian chạy cặp với phân tích độ trung thành tối ưu hóa dựa trên AST xác minh xem tối ưu hóa dự định có được thực hiện trong chương

Machine translation (Meta M2M100); the English original follows.

Abstract

Existing evaluations of LLM-based code optimization primarily measure end-to-end speedup, obscuring whether a model actually performs the intended optimization. For compiled languages, this is especially problematic: observed gains may reflect transformations already recoverable by modern optimizing compilers rather than optimization behavior attributable to the model itself. We present PatternBench, a benchmark for studying compiler-transcendent optimization, i.e., performance improvements that remain after aggressive compiler optimization. PatternBench targets residual optimization opportunities across seven classes of transformations and pairs runtime evaluation with an AST-based optimization faithfulness analysis that verifies whether the intended optimization is realized in the generated program. Experiments with frontier, open-weight, and fine-tuned models show that runtime speedup alone provides an incomplete account of optimization capability. Optimization faithfulness is strongly associated with realized speedup, and fine-tuning improves both faithfulness and optimization effectiveness. These results suggest that evaluation of LLM-based code optimization should measure not only performance outcomes, but also whether the target transformation was successfully executed.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Compiler, Benchmark (surveying), Program optimization, Measure (data warehouse), Programming language

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange