Newest papers

ALPS: Visual State Encoders for World Models

Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie · 2026 · arXiv

DOI: 10.48550/arXiv.2610.30120 · open-access PDF

Hindi

विश्व मॉडल दृश्य प्रतिनिधित्वों को भविष्यवाणियों और कार्यों में बदलते हैं। हम तर्क देते हैं कि उनकी दृश्य नींव को भौतिक स्थिति जानकारी, मूल भाषा संरेखण, और पिक्सेल पुनर्निर्माण को जोड़ना चाहिए, ताकि एक ही प्रतिनिधित्व पूर्वानुमान, निर्देश और निरीक्षण का समर्थन कर सके। हालांकि, मौजूदा एन्कोडर आमतौर पर इन क्षमताओं में से केवल एक या दो में विशेषज्ञता रखते हैं; इसलिए हम एलपीएस, एक पूर्व प्रशिक्षित दृश्य राज्य एन्कोडर को पेश करते हैं जो सभी तीन को पैच टोकन के एक सेट में एकीकृत करता है।

Machine translation (Meta M2M100); the English original follows.

Abstract

World models turn visual representations into predictions and actions. We argue that their visual foundation should combine physical-state information, native language alignment, and pixel reconstruction, so that a single representation can support prediction, instruction, and inspection. However, existing encoders typically specialize in only one or two of these capabilities; we therefore introduce ALPS, a pretrained visual state encoder that unifies all three in a single set of patch tokens. Using only still images and text, we pretrain a ViT-B/16 from scratch with language, reconstruction,

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange