Newest papers

De-Diffusing WAMs: Action-Sufficient Direct Prediction for Robot Control

Shaoyi Zheng, Zhongtao Jiang, Yue Peng, Wenbo Lu, Shunchi Zhang, Xi Wang, Shengji Wan · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28122 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình hành động thế giới trôi qua (WAMs) sử dụng tương lai hình ảnh dự đoán để điều kiện hành động robot, nhưng thừa hưởng kết luận lặp đi lặp lại tốn kém từ các chuyên gia được đào tạo phân tán. Chúng tôi hỏi những gì tương lai dự đoán một bước nhất định phải bảo tồn để hỗ trợ dự đoán hành động một bước chính xác. Trong WAM được đánh giá, việc lấy lại âm thanh video có tác động ít đến các hành động tiếp theo, nhưng ngây thơ chuyển đổi cả hai luồng hành động sang một bước làm giảm đáng kể thành công nhiệm vụ. Giám sát không gian video chỉ đóng cửa một phần khoảng cách này, và phân tích độ nhạy cảm địa phương cho thấy các lỗi dự đoán tầm nhìn có hậu quả rất bất bình đẳng đối với độ chính xác hành động. Những phát hiện này thúc đẩy DirectWAM, chuyển đổi các chuyên gia video và hành động được đào tạo

Machine translation (Meta M2M100); the English original follows.

Abstract

Cascade world-action models (WAMs) use predicted visual futures to condition robot actions, but inherit costly iterative inference from diffusion-pretrained experts. We ask what a single-step predicted future must preserve to support accurate single-step action prediction. In the evaluated WAM, resampling video noise has little effect on downstream actions, yet naively truncating both streams to one step substantially reduces task success. Video-space supervision only partially closes this gap, and a local sensitivity analysis shows that vision prediction errors have highly unequal consequences for action accuracy. These findings motivate DirectWAM, which converts pretrained video and action experts into single-step predictors without stochastic sampling through action-sufficient distillation, while retaining the explicit future-to-action cascade. After learning a one-step action model, we train the future predictor by decoding actions from its own predicted futures and backpropagating demonstration action error through the expert, with an optional future-latent reconstruction loss. The resulting objective evaluates the student-generated future through its downstream control consequences rather than relying on representation matching alone. DirectWAM achieves 97.1% average success across four LIBERO suites and 85.4% on RoboTwin 2.0, outperforming Flash-WAM at the same one-evaluation-per-stream budget. This advantage has also extended to three real-world tasks that we designed. Compared with the full iterative teacher, it reduces inference latency by $28.0\times$.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Inference, Machine learning, Task (project management), Action (physics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange