Newest papers

ALIAS: Evaluating Performance and Memorization in LLM-Written TLA+ Specifications

Arslan Bisharat, Mujtaba Nazari, Khushboo Bhadauria, Brian Ortiz, Eric Spencer, Beatriz Santos, TaiNing Wang, George K. Thiruvathukal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29767 · open-access PDF

Arabic

تزداد تقييمات الذاكرة في النماذج اللغوية الكبيرة (LLMs)، لأن النماذج يمكن أن تجد الإجابة التي رأتها في التدريب. يختبر الباحثون ذلك باستخدام إعادة تسمية الكمبيوتر المعتدل (CIR) ، والذي يوفر لكل إشارة في مهمة اسم جديد ، ويحصل على نسبة أقل على مهمة إعادة تسمية كأدلة على إعادة تسمية. ونحن نختبر هذا المنهج على لغة Temporal Logic of Actions Plus (TLA+) ، الذي يعمل مكرر النماذج كإشارة من خلال تأكيد ما إذا كان مهمة إعادة تسمية يحافظ على سلوكية دقيقة من النماذج الأصلية. على 111 مهمة TLA+-Bench ، يقلل إعادة تسمية دقة Claude Op

Machine translation (Meta M2M100); the English original follows.

Abstract

Memorization inflates the benchmark scores of large language models (LLMs), since a model can reproduce answers it saw in training. Researchers test for it with consistent identifier renaming (CIR), which gives every identifier in a task a new name, and treat a lower score on the renamed task as evidence of recall. We test this method on the Temporal Logic of Actions Plus (TLA+) language, whose model checker acts as an oracle by confirming whether a renamed task preserves the exact behaviors of the original. Across 111 TLA+-Bench tasks, renaming lowers the correctness of Claude Opus 4.8 from 2

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange