Newest papers

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

Arvid Frydenlund, FuTe Wong, Katherine Lambert, Frank Rudzicz · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31439 · open-access PDF

Korean

보이지 않는 차트, 시작 노드, $s$, 그리고 끝 노드, $t$를 감안할 때 언어 모델이 $s$에서 $t$까지의 가장 짧은 경로를 생성할 수 있습니까? 이전 작업은 모델이 차트 규모로이 작업을 배우지 못한다는 것을 발견했습니다. 우리는이 실패의 두 가지 원인이 있음을 보여줍니다 : 감독 신호와 토큰화. 첫째, 우리는 이론적으로 여러 토큰 예측 (MTP)의 효과를 확립하고 경험적으로 증명하고 MTP의 이점이 토폴로적으로 무신론적임을 보여줍니다. 둘째, 우리는 대체 토큰화를 도입하고 두 가지 원인이 orthogonal임을 보여줍니다. 이러한 방법을 사용하여, 우리는 토큰의 이익을 깨뜨립니다.

Machine translation (Meta M2M100); the English original follows.

Abstract

Given an unseen graph, a start node, $s$, and an end node, $t$, can a language model generate the shortest path from $s$ to $t$? Prior work has found that models fail to learn this task as the graphs scale. We show that this failure has two causes: the supervision signal and the tokenization. First, we theoretically establish and empirically demonstrate the effectiveness of multi-token prediction (MTP), and show that the benefits of MTP are topologically agnostic. Second, we introduce alternative tokenizations and show that the two causes are orthogonal. Using these methods, we break through t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange