Newest papers

ALPS: Visual State Encoders for World Models

Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie · 2026 · arXiv

DOI: 10.48550/arXiv.2610.30120 · open-access PDF

Russian

Мировые модели превращают визуальные представления в предсказания и действия. Мы утверждаем, что их визуальный фундамент должен сочетать информацию о физическом состоянии, выравнивание родного языка и реконструкцию пикселей, чтобы одно представление могло поддерживать предсказание, инструкцию и инспекцию. Однако существующие кодировщики обычно специализируются только на одной или двух из этих возможностей; поэтому мы вводим ALPS, предварительно подготовленный кодировщик визуального состояния, который объединяет все три в единый набор токенов патча.

Machine translation (Meta M2M100); the English original follows.

Abstract

World models turn visual representations into predictions and actions. We argue that their visual foundation should combine physical-state information, native language alignment, and pixel reconstruction, so that a single representation can support prediction, instruction, and inspection. However, existing encoders typically specialize in only one or two of these capabilities; we therefore introduce ALPS, a pretrained visual state encoder that unifies all three in a single set of patch tokens. Using only still images and text, we pretrain a ViT-B/16 from scratch with language, reconstruction,

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange