Newest papers

SP-HLM: Sparse-Pose-Driven Motion Generation and Whole-Body Control for Humanoid Loco-Manipulation

Zhaohui Yang, Quanbao Lin, Chengqi Shi, Zhenglang Weng, Jicheng Lin, Boyu Chen, Tengjie Zhu, Guanzhu Ren, Jiahao Xu, Yang Feng, Xiaokang Yang, Yao Mu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30044 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Гуманоидная локомотивация требует эффективного интерфейса между политикой задач на высоком уровне и контролем всего тела. Существующие интерфейсы, как правило, полагаются на одно представление действий как для намерения задачи, так и для координации всего тела. Это может обременеть политикой на высоком уровне или оставлять один аспект неуточненным. Мы представляем SP-HLM, рамку, построенную на интерфейсе, управляемом слабой позицией. Интерфейс сочетает пять критических позиций тела с изученным латентным движением до того, чтобы представлять пространственное намерение и координацию всего тела в дополнительных формах. SP-VLA, модель действия на языке видения, сначала предсказывает релевантные позы и позиции сустава пальцев из мультимодальных наблюдений

Machine translation (Meta M2M100); the English original follows.

Abstract

Humanoid loco-manipulation requires an effective interface between high-level task policies and whole-body control. Existing interfaces typically rely on a single action representation for both task intent and whole-body coordination. This may burden the high-level policy or leave one aspect underspecified. We present SP-HLM, a framework built on a sparse-pose-driven interface. The interface combines five task-critical body poses with a learned latent motion prior to represent spatial intent and whole-body coordination in complementary forms. SP-VLA, a vision-language-action model, first predicts task-relevant sparse poses and finger joint positions from multimodal observations and language instructions using asynchronous action-chunk inference. Given these sparse targets, SP-MGM, a motion generation model trained through two-stage distillation, reconstructs coordinated full-body motion in real time. A pretrained motion encoder maps this motion to a compact latent representation. SP-GMT, a general motion tracker, then integrates the explicit sparse targets with this implicit motion prior for whole-body control. Experiments in simulation and on a real humanoid robot demonstrate improved motion tracking, whole-body coordination, and loco-manipulation success over existing approaches. Additional results and videos are available on our \href{https://sp-hlm.github.io/}{\textcolor{blue}{project page}}.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Humanoid robot, Motion (physics), Computer science, Artificial intelligence, Task (project management), Computer vision

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange