Newest papers

Asymmetric Looped Transformers: Fixed Global Representations for an Iterative Decoder

Cheng Liang, Tengfei Zhang, Wenjie DU, Jianyu Wu, Changlian Ma, Shuchen Pu, Ya Zhang, Yanfeng Wang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28489 · open-access PDF

Russian

Закрученные трансформаторы увеличивают эффективную глубину, неоднократно применяя общие слои, предлагая способ масштабировать вычисления без увеличения числа параметров. Тем не менее, замыкание полным слоем помещает контекстную конструкцию и итеративное улучшение состояния в рамках одного и того же повторяющегося вычисления, без явного различения их ролей. Мы вводим асимметричный закрученный трансформатор (AsymLoop), который отделяет кодирование контекста с одним проходом от повторяющегося улучшения состояния.

Machine translation (Meta M2M100); the English original follows.

Abstract

Looped Transformers increase effective depth by repeatedly applying shared layers, offering a way to scale computation without increasing parameter count. However, full-stack looping places context construction and iterative state refinement within the same recurrent computation, without explicitly distinguishing their roles. We introduce the Asymmetric Looped Transformer (AsymLoop), which separates single-pass context encoding from recurrent state refinement. A single-pass causal encoder produces layer-specific Global key-value (KV) caches that remain fixed across iterations, while a weight-t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange