Newest papers

Physical Canvas: A Vision Tactile World Model For Robot Policy Evaluation And Learning

Zebin Xing, Yuhang Zheng, Yupeng Zheng, Yichen Zhang, Zichen Li, Shangqing Zhou, Yujie Zang, Yuchen Liu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28613 · open-access PDF

French

L’évaluation et l’apprentissage des politiques des robots par l’interaction physique sont coûteux et difficiles à évoluer, motivant les modèles mondiaux conditionnés par l’action comme des simulateurs interactifs. Cependant, les prédictions visuellement plausibles peuvent fausser la dynamique de contact, fournissant des commentaires peu fiables pour l’évaluation et l’apprentissage des politiques. Nous présentons PhysCanvas, un modèle mondial visuo-tactile cohérent avec l’état pour la manipulation des robots riches en contact. PhysCanvas unifie les RGB multi-visuels, les images tactiles, le déplacement des marqueurs, l’état des tâches et les actions dans un espace de vision unifié.

Machine translation (Meta M2M100); the English original follows.

Abstract

Evaluating and post-training robot policies through physical interaction is costly and difficult to scale, motivating action-conditioned world models as interactive simulators. However, visually plausible predictions can misrepresent contact dynamics, providing unreliable feedback for policy evaluation and learning. We introduce PhysCanvas, a state-consistent visuo-tactile world model for contact-rich robot manipulation. PhysCanvas unifies multi-view RGB, tactile images, marker displacement, task state, and actions within a unified vision space. All modalities share a video VAE and pretrained

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange