Newest papers

Pattern-Driven Evaluation of LLM Code Optimization: Isolating Compiler-Transcendent Semantic Reasoning

Wesley Lu, Runzhou Liu, Hongru Du, Xinyao Yi · 2026 · arXiv

DOI: 10.48550/arXiv.2610.24835 · open-access PDF

Hindi

एलएलएम-आधारित कोड अनुकूलन के मौजूदा मूल्यांकन मुख्य रूप से अंत-आधारित गतिशीलता को मापते हैं, यह अस्पष्ट करते हुए कि क्या एक मॉडल वास्तव में इच्छित अनुकूलन प्रदर्शन करता है। कॉम्पिलेटेड भाषाओं के लिए, यह विशेष रूप से समस्याग्रस्त है: देखा गया लाभ आधुनिक अनुकूलन कॉम्पिलेटर द्वारा पहले से ही पुनर्प्राप्त किए जाने वाले परिवर्तनों को प्रतिबिंबित कर सकते हैं, न कि मॉडल के लिए जिम्मेदार अनुकूलन व्यवहार।

Machine translation (Meta M2M100); the English original follows.

Abstract

Existing evaluations of LLM-based code optimization primarily measure end-to-end speedup, obscuring whether a model actually performs the intended optimization. For compiled languages, this is especially problematic: observed gains may reflect transformations already recoverable by modern optimizing compilers rather than optimization behavior attributable to the model itself. We present PatternBench, a benchmark for studying compiler-transcendent optimization, i.e., performance improvements that remain after aggressive compiler optimization. PatternBench targets residual optimization opportuni

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange