Cheng Liang, Tengfei Zhang, Wenjie DU, Jianyu Wu, Changlian Ma, Shuchen Pu, Ya Zhang, Yanfeng Wang · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28489 · open-access PDF
Looped Transformers tăng độ sâu hiệu quả bằng cách áp dụng nhiều lần các lớp được chia sẻ, cung cấp một cách để mở rộng quy mô tính toán mà không tăng số lượng tham số. Tuy nhiên, vòng lặp đầy đủ đặt xây dựng ngữ cảnh và tinh chỉnh trạng thái lặp đi lặp lại trong cùng một tính toán lặp đi lặp lại, mà không phân biệt rõ ràng vai trò của họ. Chúng tôi giới thiệu Asymmetric Looped Transformer (AsymLoop), phân tách mã hóa ngữ cảnh đơn lặp lại từ tinh chỉnh trạng thái lặp lại. Một mã hóa nhân quả lặp đi lặp lại tạo ra các bộ đệm giá trị khóa toàn cầu (KV) cụ thể cho cùng một lớp mà vẫn cố định trên các lần lặp lại, trong khi trọng lượng t
Machine translation (Meta M2M100); the English original follows.
Looped Transformers increase effective depth by repeatedly applying shared layers, offering a way to scale computation without increasing parameter count. However, full-stack looping places context construction and iterative state refinement within the same recurrent computation, without explicitly distinguishing their roles. We introduce the Asymmetric Looped Transformer (AsymLoop), which separates single-pass context encoding from recurrent state refinement. A single-pass causal encoder produces layer-specific Global key-value (KV) caches that remain fixed across iterations, while a weight-t
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28489, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange