Newest papers

ALIAS: Evaluating Performance and Memorization in LLM-Written TLA+ Specifications

Arslan Bisharat, Mujtaba Nazari, Khushboo Bhadauria, Brian Ortiz, Eric Spencer, Beatriz Santos, TaiNing Wang, George K. Thiruvathukal, Konstantin Läufer, Mohammed Abuhamad · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29767 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Исследователи тестируют его с помощью последовательного переименования идентификатора (CIR), который дает каждому идентификатору в задании новое имя, и рассматривают более низкий балл на переименованной задаче как доказательство отзыва. Мы тестируем этот метод на языке Временной логики действий плюс (TLA+), чьи ответы могут быть воспроизведены в процессе обучения. Исследователи тестируют его с помощью последовательного переименования идентификатора (CIR), который дает каждому идентификатору в задании новое имя, и рассматривают более низкий балл на переименованной задаче как доказательство отзыва. Мы тестируем этот метод на языке Временной логики действий плюс (TLA+), чья модель-текер действует как оракул, подтверждая, что переименованная задача сохраняет

Machine translation (Meta M2M100); the English original follows.

Abstract

Memorization inflates the benchmark scores of large language models (LLMs), since a model can reproduce answers it saw in training. Researchers test for it with consistent identifier renaming (CIR), which gives every identifier in a task a new name, and treat a lower score on the renamed task as evidence of recall. We test this method on the Temporal Logic of Actions Plus (TLA+) language, whose model checker acts as an oracle by confirming whether a renamed task preserves the exact behaviors of the original. Across 111 TLA+-Bench tasks, renaming lowers the correctness of Claude Opus 4.8 from 28% to 18% and of GPT-5 from 9% to 7%. Most of this decrease comes from how the test grades, which requires exact names that most descriptions never state. Grading by behavior shrinks the decrease to about 3 percentage points for Opus 4.8 and to 0 for GPT-5. In two model families fine-tuned on disjoint halves of the tasks, renaming removes about half of the training gain in likelihood and costs 4.9 percentage points (Qwen) and 1.3 percentage points (Gemma) on unseen tasks. A lower score after renaming therefore mixes memorization, name-based grading, and the cost of new names.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Memorization, Correctness, Computer science, Oracle, Task (project management), Disjoint sets

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange