Newest papers

Kronecker Delta Rule for Long Context Linear Attention

Anamaria-Roberta Hartl, Levente Zólyomi, Michael List, Günter Klambauer, Sebastian Böck, Sepp Hochreiter · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26834 · open-access PDF

Russian

Мы предлагаем KronLSTM, линейную архитектуру внимания, основанную на правиле Дельта-Кронекера, новое правило обновления для ассоциативных матричных воспоминаний. KronLSTM расширяет семейство xLSTM с механизмом пересмотра памяти, который исправляет целевые ассоциации, модифицируя память только в одном направлении в матричном пространстве. Это минимально инвазивное обновление памяти уменьшает вмешательство с ранее хранящейся информацией по сравнению с обновлениями дельта-правила, что делает его особенно подходящим для моделирования языка длительного контекста.

Machine translation (Meta M2M100); the English original follows.

Abstract

We propose KronLSTM, a linear attention architecture based on the Kronecker Delta Rule, a novel update rule for associative matrix memories. KronLSTM extends the xLSTM family with a memory-revision mechanism that corrects targeted associations while modifying the memory only along a single direction in matrix space. This minimally invasive memory revision reduces interference with previously stored information compared with delta-rule updates, making it particularly well suited for long-context language modeling. The resulting memory dynamics can be mathematically described as a Markov chain t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange