Newest papers

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

Arvid Frydenlund, FuTe Wong, Katherine Lambert, Frank Rudzicz · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31439 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Với một biểu đồ vô hình, một nút khởi đầu, $s$, và một nút kết thúc, $t$, một mô hình ngôn ngữ có thể tạo ra con đường ngắn nhất từ $s$ đến $t$? Công việc trước đó đã phát hiện ra rằng các mô hình không học được nhiệm vụ này như quy mô biểu đồ. Chúng tôi cho thấy rằng sự thất bại này có hai nguyên nhân: tín hiệu giám sát và tokenization. Thứ nhất, chúng tôi thiết lập lý thuyết và chứng minh thực nghiệm hiệu quả của dự đoán nhiều token (MTP), và cho thấy rằng lợi ích của MTP là vô hình. Thứ hai, chúng tôi giới thiệu token hóa thay thế và cho thấy rằng hai nguyên nhân là orthogonal. Sử dụng các phương pháp này, chúng tôi phá vỡ bức tường quy mô được quan sát bởi công việc trước đó, liên tục và ổn định học cách giải quyết nhiệm vụ ở quy

Machine translation (Meta M2M100); the English original follows.

Abstract

Given an unseen graph, a start node, $s$, and an end node, $t$, can a language model generate the shortest path from $s$ to $t$? Prior work has found that models fail to learn this task as the graphs scale. We show that this failure has two causes: the supervision signal and the tokenization. First, we theoretically establish and empirically demonstrate the effectiveness of multi-token prediction (MTP), and show that the benefits of MTP are topologically agnostic. Second, we introduce alternative tokenizations and show that the two causes are orthogonal. Using these methods, we break through the scaling wall observed by prior work, consistently and stably learning to solve the task at scales far beyond previous limits.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Machine learning, Task (project management), Path (computing), Graph

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange