Newest papers

PICA-WAM: Visual Perturbation Invariance via Cross-Appearance Self-Alignment in World Action Models

Yude Zou, Yifei Yao, Guanbo Jiao, Jianming Ma, Guanjie Zheng, Xing Gao · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26813 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình hành động thế giới (WAMs) cùng nhau dự đoán video tương lai và tạo ra các hành động, nhưng vẫn nhạy cảm với các rối loạn thị giác không liên quan đến nhiệm vụ, tức là thay đổi về ngoại hình thị giác mà không ảnh hưởng đến hành vi robot. Chúng tôi xác định một khoảng trống trong đào tạo WAM thông thường: dự đoán video khuyến khích các đại diện để bảo tồn thông tin xuất hiện trước khi đào tạo, trong khi sản xuất hành động không nêu rõ sự bất biến đối với sự xuất hiện không liên quan đến nhiệm vụ. Mục tiêu tăng cường dữ liệu phơi bày WAMs với sự bất biến tác vụ như vậy nhưng không yêu cầu các quan sát bị gián đoạn và danh nghĩa để tạo ra các đại diện hành động nhất quán, và điều chỉnh với các biểu hiện cảm giác bên ngoài không đảm bảo sự bất biến mong muốn. Để giải quyết khoảng trống này,

Machine translation (Meta M2M100); the English original follows.

Abstract

World Action Models (WAMs) jointly predict future video and generate actions, yet remain sensitive to task-irrelevant visual perturbations, i.e., changes in visual appearance that should not affect robot behavior. We identify a gap in conventional WAM training: video prediction encourages representations to preserve appearance information, while action generation does not explicitly enforce invariance to task-irrelevant appearance. Data augmentation exposes WAMs to such perturbations but does not require perturbed and nominal observations to produce consistent action representations, and alignment with external pretrained features does not guarantee the desired invariance. To address this gap, we propose PICA-WAM, a self-supervised training framework that casts perturbation invariance as an auxiliary cross-appearance self-alignment task for WAMs. An exponential-moving-average (EMA) teacher processes the nominal observation to provide a deeper-layer target, while the online WAM processes a perturbed observation and aligns its shallower-layer action representation to this target through a lightweight projection head. Across four strong WAMs evaluated on RoboTwin 2.0, LIBERO-Plus, EBench, and a real robot, PICA-WAM consistently improves robustness under visual perturbations, preserves nominal performance in simulation, and raises the real robot success rate. PICA-WAM further reduces the sensitivity of video features to task-irrelevant appearance and its propagation into actions, as shown by paired layer-wise diagnostics. Code: https://github.com/YudeZou/PICA-WAM-release

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Robustness (evolution), Artificial intelligence, Perturbation (astronomy), Computer science, Computer vision, Robot

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange