Newest papers

SP-HLM: Sparse-Pose-Driven Motion Generation and Whole-Body Control for Humanoid Loco-Manipulation

Zhaohui Yang, Quanbao Lin, Chengqi Shi, Zhenglang Weng, Jicheng Lin, Boyu Chen, Tengjie Zhu, Guanzhu Ren, Jiahao Xu, Yang Feng, Xiaokang Yang, Yao Mu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30044 · cited by 0 works (OpenAlex) · open-access PDF

German

Humanoid Loco-Manipulation erfordert eine effektive Schnittstelle zwischen Hoch-Level-Task-Politiken und Ganzkörper-Steuerung. Bestehende Schnittstellen verlassen sich typischerweise auf eine einzige Aktionsdarstellung sowohl für die Aufgabeabsicht als auch für die Ganzkörper-Koordination. Dies kann die Hoch-Level-Politik belasten oder einen Aspekt unterspezifizieren. Wir präsentieren SP-HLM, einen Rahmen, der auf einer sparse-pose-gesteuerten Schnittstelle gebaut wurde. Die Schnittstelle kombiniert fünf Aufgaben-kritische Körper-Posen mit einer gelernten latenten Bewegung, um räumliche Absicht und Ganzkörper-Koordination in ergänzenden Formen darzustellen. SP-VLA, ein Vision-Sprach-Aktionsmodell,

Machine translation (Meta M2M100); the English original follows.

Abstract

Humanoid loco-manipulation requires an effective interface between high-level task policies and whole-body control. Existing interfaces typically rely on a single action representation for both task intent and whole-body coordination. This may burden the high-level policy or leave one aspect underspecified. We present SP-HLM, a framework built on a sparse-pose-driven interface. The interface combines five task-critical body poses with a learned latent motion prior to represent spatial intent and whole-body coordination in complementary forms. SP-VLA, a vision-language-action model, first predicts task-relevant sparse poses and finger joint positions from multimodal observations and language instructions using asynchronous action-chunk inference. Given these sparse targets, SP-MGM, a motion generation model trained through two-stage distillation, reconstructs coordinated full-body motion in real time. A pretrained motion encoder maps this motion to a compact latent representation. SP-GMT, a general motion tracker, then integrates the explicit sparse targets with this implicit motion prior for whole-body control. Experiments in simulation and on a real humanoid robot demonstrate improved motion tracking, whole-body coordination, and loco-manipulation success over existing approaches. Additional results and videos are available on our \href{https://sp-hlm.github.io/}{\textcolor{blue}{project page}}.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Humanoid robot, Motion (physics), Computer science, Artificial intelligence, Task (project management), Computer vision

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange