Newest papers

Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success

Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31670 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình nền tảng robot đóng thường được đánh giá thông qua các bản phát hành vòng tròn khép kín tốn kém, điều này thúc đẩy các proxies ngoại tuyến giá rẻ cho khả năng mô hình. Giả thuyết đại diện Platonic (PRH) cho thấy rằng khi các đại diện cải thiện, các phương thức khác nhau như thị giác và ngôn ngữ hội tụ hướng tới một mô hình thống kê thực tế được chia sẻ. Chúng tôi hỏi liệu các quỹ đạo chuyển động của mô hình có hình thành một phương thức khác như thế nào: khi các mô hình thể hiện trở nên có khả năng hơn, các đại diện cảm giác của chúng có thể hội tụ hướng tới cấu trúc của chuyển động vật lý không? Để kiểm tra điều này, chúng tôi đề xuất Sensorimotor Alignment ($S^2$), một phép đo ngoại tuyến miễn phí đào tạo đo lường mức độ đại diện cảm giác của mô hình phù hợp

Machine translation (Meta M2M100); the English original follows.

Abstract

Robotic foundation models are typically evaluated through costly closed-loop rollouts, which motivates cheap offline proxies for model capability. The Platonic Representation Hypothesis (PRH) suggests that as representations improve, different modalities such as vision and language converge toward a shared statistical model of reality. We ask whether motion trajectories form another such modality: as embodied models become more capable, should their sensory representations converge toward the structure of physical motion? To examine this, we propose Sensorimotor Alignment ($S^2$), a training-free offline metric that measures how well a model's sensory representation aligns with the geometry of physical motion. We find that $S^2$ correlates positively with downstream robot task success across embodied model families, making it a low-cost offline proxy for prioritizing models before closed-loop evaluation. $S^2$ can also identify promising vision-language model (VLM) backbones even before costly fine-tuning into vision-language-action models (VLAs). Beyond this correlation, $S^2$ offers representation-level explanations for phenomena observed in VLAs and world action models (WAMs). With $S^2$, we extend PRH to embodied models and make sensorimotor alignment empirically measurable, offering insight into why an embodied model succeeds beyond its closed-loop success rate.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Embodied cognition, Proxy (statistics), Embodied agent, Representation (politics), Computer science, Action (physics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange