Wesley Lu, Runzhou Liu, Hongru Du, Xinyao Yi · 2026 · arXiv
DOI: 10.48550/arXiv.2610.24835 · open-access PDF
Pour les langages compilés, cela est particulièrement problématique : les gains observés peuvent refléter des transformations déjà récupérables par les compilateurs d'optimisation modernes plutôt que le comportement d'optimisation attribuable au modèle lui-même. Nous présentons PatternBench, un critère de référence pour étudier l'optimisation transcendante du compilateur, c'est-à-dire les améliorations de performance qui restent après une optimisation agressive du compilateur.
Machine translation (Meta M2M100); the English original follows.
Existing evaluations of LLM-based code optimization primarily measure end-to-end speedup, obscuring whether a model actually performs the intended optimization. For compiled languages, this is especially problematic: observed gains may reflect transformations already recoverable by modern optimizing compilers rather than optimization behavior attributable to the model itself. We present PatternBench, a benchmark for studying compiler-transcendent optimization, i.e., performance improvements that remain after aggressive compiler optimization. PatternBench targets residual optimization opportuni
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.24835, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange