Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie · 2026 · arXiv
DOI: 10.48550/arXiv.2610.30120 · open-access PDF
Các mô hình thế giới biến các đại diện hình ảnh thành dự đoán và hành động. Chúng tôi lập luận rằng nền tảng hình ảnh của họ nên kết hợp thông tin trạng thái vật lý, điều chỉnh ngôn ngữ bản địa và tái tạo pixel, để một đại diện duy nhất có thể hỗ trợ dự đoán, hướng dẫn và kiểm tra. Tuy nhiên, các bộ mã hóa hiện có thường chỉ chuyên về một hoặc hai khả năng này; do đó, chúng tôi giới thiệu ALPS, một bộ mã hóa trạng thái hình ảnh được đào tạo trước thống nhất tất cả ba trong một tập hợp các mã thông báo bản vá.
Machine translation (Meta M2M100); the English original follows.
World models turn visual representations into predictions and actions. We argue that their visual foundation should combine physical-state information, native language alignment, and pixel reconstruction, so that a single representation can support prediction, instruction, and inspection. However, existing encoders typically specialize in only one or two of these capabilities; we therefore introduce ALPS, a pretrained visual state encoder that unifies all three in a single set of patch tokens. Using only still images and text, we pretrain a ViT-B/16 from scratch with language, reconstruction,
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.30120, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange