Rahul Sajnani, Diego Romeres, Mingyuan Zhang, Kai Gao, Carl Qi, Baichuan Huang, Srinath Sridhar, Dylan Randle · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28626 · open-access PDF
Motivés par la capacité humaine d'intégrer l'expérience à travers le langage, la perception et l'action, nous présentons UniWALM, un modèle unifié de langue d'action mondiale qui apprend la vidéo, l'action et la langue dans une seule représentation partagée, où chaque modalité est à la fois un signal conditionnant et une cible de surveillance.Nous demandons: peut-il générer conjointement le langage pour enrichir cette représentation partagée, améliorer la manipulation et soutenir le comportement dépendant de la mémoire?
Machine translation (Meta M2M100); the English original follows.
Motivated by the human ability to integrate experience across language, perception, and action, we introduce UniWALM, a unified world-action-language model that learns video, action, and language in a single shared representation, where each modality is both a conditioning signal and a supervision target. We ask: can jointly generating language enrich this shared representation, improving manipulation and supporting memory-dependent behavior? Unlike prior approaches that attach a reasoning or vision-language model to a video-action backbone and run them as distinct stages, UniWALM unifies all
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28626, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange