Newest papers

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

Arvid Frydenlund, FuTe Wong, Katherine Lambert, Frank Rudzicz · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31439 · cited by 0 works (OpenAlex) · open-access PDF

Arabic

وبحسب جدول لا يمكن رؤيته، ونمط بدء، $s$، ونمط انتهاء، $t$، هل يمكن لنماذج اللغات إنشاء أسرع الطريق من $s$ إلى $t$؟ وقد وجدت الدراسة السابقة أن النماذج لا تعلم هذه المهمة كالطول الحديدي. ونحن نعلم أن هذا النقص له أسبابان: إشارة التحكم والتركيز. أولاً، ونحن نؤكد النظرية وتثبيتًا تجربيًا على فعالية التوقيع على العديد من الترتيبات (MTP)، ونحن نعلم أن فوائد MTP تختلف عن غيرها من النماذج. ثانيا، ونحن نقدم تركيزات بديلة وتثبيتًا وتثبيتًا وتثبيتًا وتثبيتً

Machine translation (Meta M2M100); the English original follows.

Abstract

Given an unseen graph, a start node, $s$, and an end node, $t$, can a language model generate the shortest path from $s$ to $t$? Prior work has found that models fail to learn this task as the graphs scale. We show that this failure has two causes: the supervision signal and the tokenization. First, we theoretically establish and empirically demonstrate the effectiveness of multi-token prediction (MTP), and show that the benefits of MTP are topologically agnostic. Second, we introduce alternative tokenizations and show that the two causes are orthogonal. Using these methods, we break through the scaling wall observed by prior work, consistently and stably learning to solve the task at scales far beyond previous limits.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Machine learning, Task (project management), Path (computing), Graph

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange