Newest papers

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

Arvid Frydenlund, FuTe Wong, Katherine Lambert, Frank Rudzicz · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31439 · open-access PDF

German

Angesichts eines unsichtbaren Diagramms, eines Startknoten, $s$ und eines Endknoten, $t$, kann ein Sprachmodell den kürzesten Pfad von $s$ zu $t$ generieren? Vorherige Arbeiten haben ergeben, dass Modelle diese Aufgabe als die Diagrammskala nicht lernen. Wir zeigen, dass dieser Fehler zwei Ursachen hat: das Überwachungssignal und die Tokenisierung. Erstens etablieren und empirisch demonstrieren wir die Wirksamkeit der Multi-Token-Vorhersage (MTP) und zeigen, dass die Vorteile von MTP topologisch agnostisch sind. Zweitens führen wir alternative Tokenisierungen ein und zeigen, dass die beiden Ursachen orthogonal sind.

Machine translation (Meta M2M100); the English original follows.

Abstract

Given an unseen graph, a start node, $s$, and an end node, $t$, can a language model generate the shortest path from $s$ to $t$? Prior work has found that models fail to learn this task as the graphs scale. We show that this failure has two causes: the supervision signal and the tokenization. First, we theoretically establish and empirically demonstrate the effectiveness of multi-token prediction (MTP), and show that the benefits of MTP are topologically agnostic. Second, we introduce alternative tokenizations and show that the two causes are orthogonal. Using these methods, we break through t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange