Zebin Xing, Yuhang Zheng, Yupeng Zheng, Yichen Zhang, Zichen Li, Shangqing Zhou, Yujie Zang, Yuchen Liu · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28613 · open-access PDF
Die Bewertung und das Nach-Training von Roboter-Politiken durch physische Interaktion ist kostspielig und schwierig zu skalieren, was Action-Bedingte Weltmodelle als interaktive Simulatoren motiviert. Visuell plausible Vorhersagen können jedoch Kontaktdynamik falsch darstellen und unzuverlässige Rückmeldungen für Richtlinienbewertung und Lernen liefern. Wir führen PhysCanvas ein, ein statuskonsistentes visuo-taktiles Weltmodell für kontaktreiche Robotermanipulation. PhysCanvas vereint Multi-View-RGB, taktische Bilder, Markerverlegung, Aufgabenstatus und Aktionen innerhalb eines einheitlichen Sichtraums.
Machine translation (Meta M2M100); the English original follows.
Evaluating and post-training robot policies through physical interaction is costly and difficult to scale, motivating action-conditioned world models as interactive simulators. However, visually plausible predictions can misrepresent contact dynamics, providing unreliable feedback for policy evaluation and learning. We introduce PhysCanvas, a state-consistent visuo-tactile world model for contact-rich robot manipulation. PhysCanvas unifies multi-view RGB, tactile images, marker displacement, task state, and actions within a unified vision space. All modalities share a video VAE and pretrained
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28613, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange