Newest papers

ALPS: Visual State Encoders for World Models

Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie · 2026 · arXiv

DOI: 10.48550/arXiv.2610.30120 · open-access PDF

French

Les modèles du monde transforment les représentations visuelles en prédictions et actions. Nous affirmons que leur fondement visuel devrait combiner l'information physique-état, l'alignement de langue maternelle et la reconstruction de pixels, de sorte qu'une seule représentation puisse soutenir la prédiction, l'instruction et l'inspection. Toutefois, les encodeurs existants ne se spécialisent généralement que dans une ou deux de ces capacités; nous introduisons donc ALPS, un encodeur d'état visuel prétrainé qui unifie tous les trois dans un seul ensemble de jetons de patch.

Machine translation (Meta M2M100); the English original follows.

Abstract

World models turn visual representations into predictions and actions. We argue that their visual foundation should combine physical-state information, native language alignment, and pixel reconstruction, so that a single representation can support prediction, instruction, and inspection. However, existing encoders typically specialize in only one or two of these capabilities; we therefore introduce ALPS, a pretrained visual state encoder that unifies all three in a single set of patch tokens. Using only still images and text, we pretrain a ViT-B/16 from scratch with language, reconstruction,

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange