Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie · 2026 · arXiv
DOI: 10.48550/arXiv.2610.30120 · open-access PDF
Weltmodelle verwandeln visuelle Darstellungen in Vorhersagen und Aktionen. Wir argumentieren, dass ihre visuelle Grundlage physikalische Zustandsinformationen, Muttersprachenausrichtung und Pixelrekonstruktion kombinieren sollte, so dass eine einzige Darstellung Vorhersage, Anweisung und Inspektion unterstützen kann. Jedoch spezialisieren sich bestehende Encoders typischerweise nur auf eine oder zwei dieser Fähigkeiten; wir führen daher ALPS ein, einen vorgefertigten visuellen Zustandsencoder, der alle drei in einem einzigen Satz von Patch-Token vereint.
Machine translation (Meta M2M100); the English original follows.
World models turn visual representations into predictions and actions. We argue that their visual foundation should combine physical-state information, native language alignment, and pixel reconstruction, so that a single representation can support prediction, instruction, and inspection. However, existing encoders typically specialize in only one or two of these capabilities; we therefore introduce ALPS, a pretrained visual state encoder that unifies all three in a single set of patch tokens. Using only still images and text, we pretrain a ViT-B/16 from scratch with language, reconstruction,
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.30120, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange