Newest papers

Competing Learning in Hybrid Architectures

Xingyu Shen, Yingfa Chen, Ziqing Qiao, Chaojun Xiao, Xu Han, Zhiyuan Liu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26830 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Nhiều mô hình ngôn ngữ hiện đại đã áp dụng các kiến trúc lai kết hợp cả sự lặp lại thời gian tuyến tính và sự chú ý softmax. Các lớp lặp lại hiện đại cung cấp một cơ chế pha trộn cực kỳ biểu cảm trong khi đảm bảo lưu lượng cao bằng cách nén thông tin ngữ cảnh thành trạng thái kích thước cố định, nhưng sự chú ý softmax kém hiệu quả trong việc thu thập thông tin ngữ cảnh. Trong bài viết này, chúng tôi tiết lộ một hiện tượng học tập cạnh tranh nơi các loại máy trộn khác nhau cạnh tranh để học cùng một chức năng, và khi bất kỳ lớp nào học một chức năng, nó ức chế tín hiệu học tập tương ứng cho các lớp khác. Phân tích phân bổ lớp cho thấy rằng trong các phân phối dữ liệu điển hình, sự lặp lại hiện đại học các chức năng phục hồi nhanh hơn so với sự chú ý softmax, gây ra sự chú ý

Machine translation (Meta M2M100); the English original follows.

Abstract

Many modern language models have adopted hybrid architectures that incorporate both linear-time recurrence and softmax attention. Modern recurrence layers provide a highly expressive mixing mechanism while ensuring high throughput by compressing contextual information into a fixed-size state, but underperform softmax attention in contextual information retrieval. In this paper, we reveal a Competing Learning phenomenon where different kinds of mixers compete to learn the same function, and when any layer learns a function, it suppresses the corresponding learning signal for other layers. Layer attribution analysis reveals that under typical data distributions, modern recurrence learns retrieval functions faster than softmax attention, causing attention to fail to learn retrieval in most cases. Stopping weight updates in recurrence in the middle of training helps attention learn retrieval. Based on these results, we propose a staged training procedure for pre-training hybrid architectures on natural language. Empirical results on models up to 1B parameters show that our method results in substantial improvement in language modeling loss, common-sense reasoning, as well as a wide range of retrieval-related tasks across different context lengths.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Softmax function, Computer science, Artificial intelligence, Context (archaeology), Layer (electronics), Machine learning

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange