Newest papers

Pattern-Driven Evaluation of LLM Code Optimization: Isolating Compiler-Transcendent Semantic Reasoning

Wesley Lu, Runzhou Liu, Hongru Du, Xinyao Yi · 2026 · arXiv

DOI: 10.48550/arXiv.2610.24835 · open-access PDF

Portuguese

As avaliações existentes da otimização de código baseada em LLM medem principalmente a aceleração de ponta a ponta, obscurecendo se um modelo realmente realiza a otimização pretendida. Para idiomas compilados, isso é especialmente problemático: os ganhos observados podem refletir transformações já recuperáveis por compiladores de otimização modernos, em vez de comportamento de otimização atribuível ao próprio modelo. apresentamos PatternBench, um benchmark para estudar a otimização transcendente do compilador, ou seja, melhorias de desempenho que permanecem após a otimização agressiva do compilador.

Machine translation (Meta M2M100); the English original follows.

Abstract

Existing evaluations of LLM-based code optimization primarily measure end-to-end speedup, obscuring whether a model actually performs the intended optimization. For compiled languages, this is especially problematic: observed gains may reflect transformations already recoverable by modern optimizing compilers rather than optimization behavior attributable to the model itself. We present PatternBench, a benchmark for studying compiler-transcendent optimization, i.e., performance improvements that remain after aggressive compiler optimization. PatternBench targets residual optimization opportuni

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange