Arslan Bisharat, Mujtaba Nazari, Khushboo Bhadauria, Brian Ortiz, Eric Spencer, Beatriz Santos, TaiNing Wang, George K. Thiruvathukal · 2026 · arXiv
DOI: 10.48550/arXiv.2610.29767 · open-access PDF
Memorisasi membebani skor referensi dari model bahasa besar (LLM), karena sebuah model dapat mereproduksi jawaban yang dilihatnya dalam pelatihan. Peneliti menguji untuk itu dengan penggantian nama identifier konsisten (CIR), yang memberi setiap identifier dalam tugas nama baru, dan memperlakukan skor yang lebih rendah pada tugas penggantian sebagai bukti pengingat. Kami menguji metode ini pada bahasa Temporal Logic of Actions Plus (TLA+), yang pemeriksa model bertindak sebagai orakel dengan mengkonfirmasi apakah tugas penggantian nama mempertahankan perilaku yang akurat dari asli. Di atas 111 tugas TLA+-Bench, penggantian nama menurunkan keakuratan Claude Opus 4.8 dari 2
Machine translation (Meta M2M100); the English original follows.
Memorization inflates the benchmark scores of large language models (LLMs), since a model can reproduce answers it saw in training. Researchers test for it with consistent identifier renaming (CIR), which gives every identifier in a task a new name, and treat a lower score on the renamed task as evidence of recall. We test this method on the Temporal Logic of Actions Plus (TLA+) language, whose model checker acts as an oracle by confirming whether a renamed task preserves the exact behaviors of the original. Across 111 TLA+-Bench tasks, renaming lowers the correctness of Claude Opus 4.8 from 2
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29767, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange