Newest papers

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

Arvid Frydenlund, FuTe Wong, Katherine Lambert, Frank Rudzicz · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31439 · open-access PDF

French

Compte tenu d'un graphique invisible, d'un nœud de démarrage, de $s$, et d'un nœud de fin, de $t$, un modèle de langue peut-il générer le chemin le plus court de $s$ à $t$? Des travaux antérieurs ont montré que les modèles ne parviennent pas à apprendre cette tâche à l'échelle des graphiques. Nous montrons que cette défaillance a deux causes: le signal de surveillance et la tokenisation. Premièrement, nous établissons théoriquement et démontrons empiriquement l'efficacité de la prédiction multi-token (MTP), et nous montrons que les avantages de MTP sont topologiquement agnostiques. Deuxièmement, nous introduisons des token

Machine translation (Meta M2M100); the English original follows.

Abstract

Given an unseen graph, a start node, $s$, and an end node, $t$, can a language model generate the shortest path from $s$ to $t$? Prior work has found that models fail to learn this task as the graphs scale. We show that this failure has two causes: the supervision signal and the tokenization. First, we theoretically establish and empirically demonstrate the effectiveness of multi-token prediction (MTP), and show that the benefits of MTP are topologically agnostic. Second, we introduce alternative tokenizations and show that the two causes are orthogonal. Using these methods, we break through t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange