Newest papers

Present but Hard to Read: Probing Latent Reasoning with Minimal Pairs

Aur Shalev Merin · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28498 · open-access PDF

Russian

Испытательные исследования латентного рассуждения часто читают состояние модели, где начинается ответ, и берут неудачный зонд в качестве доказательства того, что значение отсутствует. Мы проверяем это с помощью цифры, скопированной из вопроса, в скрученной модели Ouro-1.4B и стандартном трансформаторе Qwen2.5-1.5B. Сравнивание проб, которые отличаются только в этой цифре, показывает, что он присутствует в последнем пробном токене, в коде, разделённом между вопросами (читать около 0,9). Зонд, который видит одну пробку в одно время, в обычной настройке, едва читает его: 0,36 в Ouro и 0,19 в Qwen даже после 5,249 вопросов обучения. Изменение цифры небольшое, а

Machine translation (Meta M2M100); the English original follows.

Abstract

Probing studies of latent reasoning often read a model's state where the answer begins and take a failed probe as evidence that a value is absent. We test this with a digit copied from the question, in the looped model Ouro-1.4B and the standard transformer Qwen2.5-1.5B. Comparing prompts that differ only in that digit shows it is present at the last prompt token, in a code shared across questions (readout about 0.9). A probe that sees one prompt at a time, the usual setting, barely reads it: 0.36 in Ouro and 0.19 in Qwen even after 5,249 training questions. The digit's change is small rather

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange