Aur Shalev Merin · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28498 · open-access PDF
Wir testen dies mit einer Ziffer, die aus der Frage kopiert wird, im geschnitzten Modell Ouro-1.4B und dem Standardtransformator Qwen2.5-1.5B. Vergleich von Anrufen, die sich nur in diesem Ziffer unterscheiden, zeigt, dass sie am letzten Anruftoken, in einem Code, der über Fragen geteilt wird, vorhanden ist (readout etwa 0,9). Eine Sonde, die eine Anrufe zu einer Zeit sieht, die übliche Einstellung, liest sie kaum: 0,36 in Ouro und 0,19 in Qwen auch nach 5,249 Schulungsfragen.
Machine translation (Meta M2M100); the English original follows.
Probing studies of latent reasoning often read a model's state where the answer begins and take a failed probe as evidence that a value is absent. We test this with a digit copied from the question, in the looped model Ouro-1.4B and the standard transformer Qwen2.5-1.5B. Comparing prompts that differ only in that digit shows it is present at the last prompt token, in a code shared across questions (readout about 0.9). A probe that sees one prompt at a time, the usual setting, barely reads it: 0.36 in Ouro and 0.19 in Qwen even after 5,249 training questions. The digit's change is small rather
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28498, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange