Newest papers

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

Arvid Frydenlund, FuTe Wong, Katherine Lambert, Frank Rudzicz · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31439 · cited by 0 works (OpenAlex) · open-access PDF

Japanese

見えないグラフ、スタートノード、$s$、およびエンドノード、$t$を考慮すると、言語モデルは$s$から$t$に最も短いパスを生成することができるだろうか?以前の研究では、モデルがグラフスケールとしてこのタスクを学ぶことができなかったことを発見しました。我々は、この失敗には2つの原因があることを示しています:監督信号とトークニケーション。第一に、我々は理論的に、複数のトークン予測(MTP)の有効性を確立し、経験的に示し、MTPの利点がトポロジック的に無知であることを示しています。第二に、我々は代替トークニケーションを導入し、これらの2つの原因が正方形であることを示しています。これらの方法を使用

Machine translation (Meta M2M100); the English original follows.

Abstract

Given an unseen graph, a start node, $s$, and an end node, $t$, can a language model generate the shortest path from $s$ to $t$? Prior work has found that models fail to learn this task as the graphs scale. We show that this failure has two causes: the supervision signal and the tokenization. First, we theoretically establish and empirically demonstrate the effectiveness of multi-token prediction (MTP), and show that the benefits of MTP are topologically agnostic. Second, we introduce alternative tokenizations and show that the two causes are orthogonal. Using these methods, we break through the scaling wall observed by prior work, consistently and stably learning to solve the task at scales far beyond previous limits.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Machine learning, Task (project management), Path (computing), Graph

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange