Newest papers

ALIAS: Evaluating Performance and Memorization in LLM-Written TLA+ Specifications

Arslan Bisharat, Mujtaba Nazari, Khushboo Bhadauria, Brian Ortiz, Eric Spencer, Beatriz Santos, TaiNing Wang, George K. Thiruvathukal, Konstantin Läufer, Mohammed Abuhamad · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29767 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các nhà nghiên cứu thử nghiệm cho nó với định danh định danh thống nhất (CIR), mà cung cấp cho mỗi định danh trong một nhiệm vụ một tên mới, và xử lý một điểm thấp hơn trên nhiệm vụ được đổi tên như bằng chứng của hồi âm. Chúng tôi kiểm tra phương pháp này trên các câu trả lời mà nó thấy trong đào tạo (TLA+) ngôn ngữ, mà người kiểm tra mô hình hoạt động như một lời tiên tri bằng cách xác nhận xem một nhiệm vụ đổi tên có giữ lại hành vi chính xác của bản gốc hay không. Trên 111 nhiệm vụ TLA+-Bench, đổi tên làm giảm tính chính xác của Claude Opus 4.8 từ 28% đến 18% và GPT-5 từ 9% đến 7%. Hầu hết điều này giảm từ cách các bài kiểm tra điểm, mà yêu cầu tên chính xác mà hầu hết các mô tả không bao giờ nói. Xếp hạng bởi hành vi tên giảm chi phí

Machine translation (Meta M2M100); the English original follows.

Abstract

Memorization inflates the benchmark scores of large language models (LLMs), since a model can reproduce answers it saw in training. Researchers test for it with consistent identifier renaming (CIR), which gives every identifier in a task a new name, and treat a lower score on the renamed task as evidence of recall. We test this method on the Temporal Logic of Actions Plus (TLA+) language, whose model checker acts as an oracle by confirming whether a renamed task preserves the exact behaviors of the original. Across 111 TLA+-Bench tasks, renaming lowers the correctness of Claude Opus 4.8 from 28% to 18% and of GPT-5 from 9% to 7%. Most of this decrease comes from how the test grades, which requires exact names that most descriptions never state. Grading by behavior shrinks the decrease to about 3 percentage points for Opus 4.8 and to 0 for GPT-5. In two model families fine-tuned on disjoint halves of the tasks, renaming removes about half of the training gain in likelihood and costs 4.9 percentage points (Qwen) and 1.3 percentage points (Gemma) on unseen tasks. A lower score after renaming therefore mixes memorization, name-based grading, and the cost of new names.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Memorization, Correctness, Computer science, Oracle, Task (project management), Disjoint sets

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange