Newest papers

How Depth Growth and Looping Shape In-Context Learning in Language Models

Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31421 · open-access PDF

French

Les modèles de langues en boucle et en profondeur utilisent des calculs en profondeur et ont attiré l'intérêt pour leurs capacités de raisonnement. Sur la base de preuves suggérantes de l'amélioration de l'apprentissage contextuel (ICL), nous enquêtons sur la manière dont une telle réutilisation favorise l'ICL, y compris la façon dont elle façonne l'acquisition, la rétention et les mécanismes de cette capacité. Notre analyse s'étend des modèles de langue préentraînés jusqu'aux paramètres 3B et aux tâches contrôlées. Les expériences fournissent des preuves d'un biais inductif partagé envers l'apprentissage du contexte: les modèles en boucle et en boucle

Machine translation (Meta M2M100); the English original follows.

Abstract

Looped and depth-grown language models reuse computations across depth and have attracted interest for their reasoning capabilities. Building on prior suggestive evidence of improved in-context-learning (ICL), we investigate how such reuse favors ICL, including how it shapes the acquisition, retention, and mechanisms of this ability. Our analysis spans pretrained language models up to 3B parameters and controlled tasks. The experiments provide evidence for a shared inductive bias toward learning from context: grown and looped models rely more on information in context and, compared with a full

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange