Newest papers

How Depth Growth and Looping Shape In-Context Learning in Language Models

Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31421 · open-access PDF

Vietnamese

Các mô hình ngôn ngữ có vòng lặp và phát triển sâu đã tái sử dụng các tính toán sâu sắc và đã thu hút sự quan tâm đối với khả năng lý luận của họ. Dựa trên bằng chứng gợi ý trước đó về việc cải thiện việc học trong bối cảnh (ICL), chúng tôi điều tra làm thế nào việc tái sử dụng như vậy có lợi cho ICL, bao gồm cách nó định hình việc mua lại, giữ lại và cơ chế của khả năng này. Phân tích của chúng tôi bao gồm các mô hình ngôn ngữ được đào tạo trước cho đến các thông số 3B và các nhiệm vụ được kiểm soát. Các thí nghiệm cung cấp bằng chứng cho một sự thiên vị chủ động chung đối với việc học từ bối cảnh: các mô hình có vòng lặp và phát triển dựa nhiều hơn vào thông tin trong bối cảnh và, so với một mô hình đầy đủ.

Machine translation (Meta M2M100); the English original follows.

Abstract

Looped and depth-grown language models reuse computations across depth and have attracted interest for their reasoning capabilities. Building on prior suggestive evidence of improved in-context-learning (ICL), we investigate how such reuse favors ICL, including how it shapes the acquisition, retention, and mechanisms of this ability. Our analysis spans pretrained language models up to 3B parameters and controlled tasks. The experiments provide evidence for a shared inductive bias toward learning from context: grown and looped models rely more on information in context and, compared with a full

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange