Newest papers

Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use

Yanzhe Chen, Ziyi Yang, Jifeng Zhu, Qiming Huang, R. An, Peiyao Xu, Hesen Yang, Runda Liu, Chang Gong, Zhijun Cao, Zechen Bai, Wenzheng Zeng, Yiqi Lin, Guoqiang Liang, Kevin Ma, Kevin Qinghong Lin, Mike Zheng Shou · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30108 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các tác nhân đa phương tiện (MMA) duy trì tương tác thông qua lý luận, bộ nhớ, công cụ và phản hồi, rõ ràng nhất là các tác nhân sử dụng máy tính, trong khi các hệ thống robot (RS) ghép nối cảm biến và hành động dưới động lực vật lý. Chúng tôi xác định các tác nhân đa phương tiện được thể hiện (MMEA) là các hệ thống hướng mục tiêu ghép nối lý luận đa phương tiện với hành động vật lý và sửa đổi các quyết định từ phản hồi kết quả. Điều này đặt ra một câu hỏi trung tâm: những gì thay đổi khi một tác nhân đa phương tiện chuyển từ sử dụng máy tính sang sử dụng robot? Chúng tôi giới thiệu PAPAV, một khuôn khổ tập trung vào khả năng thống nhất của năm chức năng lặp đi lặp lại: Nhận thức trạng thái hiện tại, Dự đoán các hiệu ứng hành động, Kế hoạch một khóa học khả thi, Hành

Machine translation (Meta M2M100); the English original follows.

Abstract

Multimodal agents (MMAs) sustain interaction through reasoning, memory, tools, and feedback, most visibly as computer-use agents, while robotic systems (RSs) couple sensing and actuation under physical dynamics. We define multimodal embodied agents (MMEAs) as goal-directed systems that couple multimodal task reasoning with physical action and revise decisions from the resulting feedback. This raises a central question: what changes when a multimodal agent moves from computer-use to robot-use? We introduce PAPAV, a unified capability-centric framework of five recurring functions: Perceive the current state, Anticipate action effects, Plan a feasible course, Act through an interface or body, and Verify the outcome. Defined by function rather than architecture, these capabilities let PAPAV identify what all three share and then compare MMEAs with MMAs and with RSs. Five physical constraints, from partial observability to unverifiable outcomes, leave fewer choices fixed in advance and less room to reverse errors. Across 64 benchmarks, explicit evaluation centers on Act; only 5 assess Anticipate and 3 assess Verify, leaving both largely hidden behind task success. These constraints also frame the open challenges we identify. PAPAV therefore provides a common basis for designing reliable physical agents and measuring progress across all five capabilities rather than task success alone.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Embodied cognition, Task (project management), Perspective (graphical), Action (physics), Computer science, Observability

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange