Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31421 · open-access PDF
ويستند نموذج اللغات المعقدة والمتوسطة إلى استعادة استخدام الحسابات على نطاق عميق وتتطلع إلى قدرتها على التفكير. استناداً إلى الأدلة السابقة التي تشير إلى تحسين التعلم في السياق (ICL) ، فإننا نبحث عن كيفية تحسين هذا الاستخدام إلى ICL ، بما في ذلك كيفية تشكيل استيعاب وتخزين ومهام هذه القدرة. تحليلنا يتراوح بين نموذج اللغات المتقدم إلى نموذج 3B ومهمات محددة.
Machine translation (Meta M2M100); the English original follows.
Looped and depth-grown language models reuse computations across depth and have attracted interest for their reasoning capabilities. Building on prior suggestive evidence of improved in-context-learning (ICL), we investigate how such reuse favors ICL, including how it shapes the acquisition, retention, and mechanisms of this ability. Our analysis spans pretrained language models up to 3B parameters and controlled tasks. The experiments provide evidence for a shared inductive bias toward learning from context: grown and looped models rely more on information in context and, compared with a full
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31421, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange