Newest papers

Kronecker Delta Rule for Long Context Linear Attention

Anamaria-Roberta Hartl, Levente Zólyomi, Michael List, Günter Klambauer, Sebastian Böck, Sepp Hochreiter · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26834 · open-access PDF

Spanish

Proponemos KronLSTM, una arquitectura de atención lineal basada en la Regla del Delta de Kronecker, una nueva regla de actualización para las memorias de matriz asociativas. KronLSTM amplía la familia xLSTM con un mecanismo de revisión de memoria que corrige las asociaciones dirigidas al mismo tiempo que modifica la memoria solo en una sola dirección en el espacio de la matriz. Esta revisión de memoria mínimamente invasiva reduce la interferencia con la información almacenada previamente en comparación con las actualizaciones de la regla del delta, lo que la hace particularmente adecuada para la modelización del lenguaje de contexto largo.

Machine translation (Meta M2M100); the English original follows.

Abstract

We propose KronLSTM, a linear attention architecture based on the Kronecker Delta Rule, a novel update rule for associative matrix memories. KronLSTM extends the xLSTM family with a memory-revision mechanism that corrects targeted associations while modifying the memory only along a single direction in matrix space. This minimally invasive memory revision reduces interference with previously stored information compared with delta-rule updates, making it particularly well suited for long-context language modeling. The resulting memory dynamics can be mathematically described as a Markov chain t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange