Newest papers

When Thoughts Become Memory: Unifying In-Context Learning and Fine-Tuning

Leon Chlon, Julie Huang · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29419 · cited by 0 works (OpenAlex) · open-access PDF

French

Nous sommes les premiers à donner une règle certifiée pour savoir si les données invisibles appartiennent au contexte d'un modèle prétrainé ou à ses poids, construits sur une loi exacte pour leur valeur d'information. Cette valeur, la longueur de code enregistrée sur les requêtes détenues, équivaut en attente aux bits stockés sur la requête, plus une réparation préalable, moins une perte de décodage, sur tout modèle, ensemble de données et tâche. Les plafonds de la loi certifient le choix d'une mesure, et un test valide à tout moment le rend des requêtes détenues, avec une erreur contrôlée chaque fois qu'elle s'arrête. Chaque certificat émet les plafonds sur un transformateur entraîné, TabPFN, un réseau d'occupation

Machine translation (Meta M2M100); the English original follows.

Abstract

We are the first to give a certified rule for whether unseen data belong in a pretrained model's context or its weights, built on an exact law for their information value. That value, the code length saved on held-out queries, equals in expectation the bits stored about the query, plus a prior repair, minus a decoding loss, for any model, architecture, dataset and task. The law's ceilings certify the choice from one measurement, and an anytime-valid test makes it from held-out queries, with error controlled whenever it stops. Every certificate the ceilings issue on a trained transformer, TabPFN, an occupancy network and a stereo network is correct. The test picks TabPFN over XGBoost and a trained surrogate over an in-context learner on airfoil pressure, calls the better of GPT-2's cache and fine-tune in 61,948 of 64,000 query streams over 32 comparisons, and errs in at most 3.3% of null streams. The law also diagnoses when learning in context helps and when it does not. Deleting part of a context is held-out validation of that part in any model, and adding parts one at a time traces the learning curve in context: one patch that sees a shape feature cuts an occupancy network's code length there a hundredfold, while eight that miss it nearly double it, and one camera that sees the surface beats four in a stereo network. Ranked by this label-free valuation, a kriging learner's three best support cars beat four drawn at random, and on a yes-or-no claim the valuation recovers a published evidence adjudicator, with AUROC 0.91.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Certificate, Artificial intelligence, Context (archaeology), Code (set theory), Cache

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange