Wesley Lu, Runzhou Liu, Hongru Du, Xinyao Yi · 2026 · arXiv
DOI: 10.48550/arXiv.2610.24835 · open-access PDF
Die bestehenden Bewertungen der LLM-basierten Code-Optimierung messen hauptsächlich End-to-End-Geschwindigkeitsgrad und verdecken, ob ein Modell tatsächlich die beabsichtigte Optimierung durchführt. Für kompilierte Sprachen ist dies besonders problematisch: Beobachtete Gewinne können Transformationen widerspiegeln, die bereits von modernen Optimierungskompilatoren wiederhergestellt werden können, anstatt Optimierungsverhalten, das dem Modell selbst zugeschrieben wird. Wir präsentieren PatternBench, ein Benchmark für die Untersuchung von Compiler-Transcendent-Optimierung, d.h. Leistungsverbesserungen, die nach aggressiver Compiler-Optimierung verbleiben.
Machine translation (Meta M2M100); the English original follows.
Existing evaluations of LLM-based code optimization primarily measure end-to-end speedup, obscuring whether a model actually performs the intended optimization. For compiled languages, this is especially problematic: observed gains may reflect transformations already recoverable by modern optimizing compilers rather than optimization behavior attributable to the model itself. We present PatternBench, a benchmark for studying compiler-transcendent optimization, i.e., performance improvements that remain after aggressive compiler optimization. PatternBench targets residual optimization opportuni
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.24835, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange