Newest papers

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

Arvid Frydenlund, FuTe Wong, Katherine Lambert, Frank Rudzicz · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31439 · open-access PDF

Indonesian

Mengingat grafik yang tidak terlihat, node awal, $s$, dan node akhir, $t$, model bahasa dapat menghasilkan jalur terpendek dari $s$ ke $t$? Pekerjaan sebelumnya telah menemukan bahwa model gagal mempelajari tugas ini sebagai skala grafik. Kami menunjukkan bahwa kegagalan ini memiliki dua penyebab: sinyal pengawasan dan tokenisasi. Pertama, kami secara teoritis menetapkan dan secara empiris menunjukkan efektivitas prediksi multi-token (MTP), dan menunjukkan bahwa manfaat MTP topologis agnostik. Kedua, kami memperkenalkan tokenisasi alternatif dan menunjukkan bahwa kedua penyebabnya ortogonal. Menggunakan metode ini, kami memecahkan t

Machine translation (Meta M2M100); the English original follows.

Abstract

Given an unseen graph, a start node, $s$, and an end node, $t$, can a language model generate the shortest path from $s$ to $t$? Prior work has found that models fail to learn this task as the graphs scale. We show that this failure has two causes: the supervision signal and the tokenization. First, we theoretically establish and empirically demonstrate the effectiveness of multi-token prediction (MTP), and show that the benefits of MTP are topologically agnostic. Second, we introduce alternative tokenizations and show that the two causes are orthogonal. Using these methods, we break through t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange