Newest papers

Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience

Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, S Mu, 邱鹏昊, YingSheng Zhang, Jun Wang, Ziang Cao, Mingze Sun, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26855 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình tương tác thế giới cho phép các đại lý dữ liệu thể hiện để dự đoán hậu quả hành động, nhưng cùng nhau mô hình hóa động cơ và thao tác trên các mô hình thực hiện khác nhau vẫn là một thách thức do không gian hành động heterogeneous và giám sát đa phương tiện hạn chế. Chúng tôi trình bày Ropedia W0, mô hình đại diện thế giới cơ sở duy nhất của loco-manipulation để dự đoán hậu quả hành động, bao gồm con người và robot với các mô hình thực hiện khác nhau. Chúng tôi điều khiển Xp-Data, bao gồm 10k giờ dữ liệu hành động tự trung tâm của con người và 3k giờ đánh giá dữ liệu robot với ghi chú đa phương tiện thống nhất và kiểm soát chất lượng có hệ thống. Một mô hình đại diện điện tử thống nhất mã hóa động cơ thông qua các bức ảnh chụp ảnh cao trên các bộ xương được chiếu, với các mô hình

Machine translation (Meta M2M100); the English original follows.

Abstract

World models enable embodied agents to anticipate action consequences, yet jointly modeling locomotion and manipulation across diverse embodiments remains challenging due to heterogeneous action spaces and limited multimodal supervision. We present Ropedia W0, the first egocentric loco-manipulation world foundation model spanning humans and robots with diverse embodiments. We curate Xp-Data, comprising 10k hours of egocentric human data and 3k hours of robot data with unified multimodal annotations and systematic quality control. A unified kinematic representation encodes locomotion through camera poses and manipulation through projected skeletons, with robot skeletons combining embodiment-specific forward kinematics with extensive manual keypoint annotation and correction. We also introduce Xp-Teleop, a long-horizon loco-manipulation benchmark based on high-quality dexterous humanoid teleoperation data. Evaluations demonstrate state-of-the-art performance across five cross-embodiment benchmarks (DreamDojo, $Ψ_0$, $ω$-HOME, Xp-Teleop, and AgiBot) and on held-out human egocentric video, from zero-shot inference to few-shot and full-data post-training. Scaling human pre-training data improves performance on both human and robot evaluations. After distillation, our model supports real-time, minute-long rollouts, enabling live VR interaction. Applications in policy evaluation, model-based planning, and world-action modeling further demonstrate the model's utility for embodied decision-making.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Robot, Humanoid robot, Kinematics, Action (physics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange