Newest papers

Pattern-Driven Evaluation of LLM Code Optimization: Isolating Compiler-Transcendent Semantic Reasoning

Wesley Lu, Runzhou Liu, Hongru Du, Xinyao Yi · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.24835 · cited by 0 works (OpenAlex) · open-access PDF

Arabic

إن التقييمات الموجودة في تحسين الكمبيوتر على أساس LLM تقييمها بشكل رئيسي التقييمات على أقصى تقدير، مما يعكس ما إذا كان نموذج يعمل بالفعل في تحسين المطلوب. بالنسبة لللغات المتكاملة، وهذا أمر مشكوك فيه بشكل خاص: قد تظهر النتائج الملاحظة تحسينات قد تم استردادها بالفعل من قبل محركات تحسين التكنولوجيا الحديثة بدلاً من تحديد السلوك التحسيني الذي يعتمد على نموذج AST نفسه. نحن نقدم نموذج نموذج، وهو نموذج للبحث عن تحسينات تحسين المطلوب في البرنامج الذي تم إنشاؤه، أي تحسينات النتائج التي تبقى بعد تحسينات محركات التكنولوجيا العدوانية. يظهر نموذج

Machine translation (Meta M2M100); the English original follows.

Abstract

Existing evaluations of LLM-based code optimization primarily measure end-to-end speedup, obscuring whether a model actually performs the intended optimization. For compiled languages, this is especially problematic: observed gains may reflect transformations already recoverable by modern optimizing compilers rather than optimization behavior attributable to the model itself. We present PatternBench, a benchmark for studying compiler-transcendent optimization, i.e., performance improvements that remain after aggressive compiler optimization. PatternBench targets residual optimization opportunities across seven classes of transformations and pairs runtime evaluation with an AST-based optimization faithfulness analysis that verifies whether the intended optimization is realized in the generated program. Experiments with frontier, open-weight, and fine-tuned models show that runtime speedup alone provides an incomplete account of optimization capability. Optimization faithfulness is strongly associated with realized speedup, and fine-tuning improves both faithfulness and optimization effectiveness. These results suggest that evaluation of LLM-based code optimization should measure not only performance outcomes, but also whether the target transformation was successfully executed.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Compiler, Benchmark (surveying), Program optimization, Measure (data warehouse), Programming language

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange