Newest papers

FIT-MAC: A Closed-Loop Multi-Agent Framework for Robust Vision-Language-Action Models

Jiatong Li, Jisheng Dang, Qiangqiang Ma, Bimei Wang, Jingwen Zhao, Wenjun Ma, Juncheng Li, Hong Peng, Bin Hu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28109 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình Vision-language-action (VLA) đã đạt được hiệu suất mạnh mẽ trên các tiêu chuẩn tiêu chuẩn về thao tác robot. Tuy nhiên, độ tin cậy của chúng có thể giảm đáng kể khi các điều kiện nhiệm vụ khác biệt so với thiết lập danh nghĩa. Các rối loạn ở các vị trí đối tượng và các hướng dẫn nhiệm vụ có thể dẫn đến thất bại hoàn chỉnh. Các chính sách VLA hiện tại thường thiếu một cơ chế chạy thời gian rõ ràng để phân biệt các chế độ thất bại này và chọn một chiến lược phục hồi thích hợp. Để giảm thiểu vấn đề này một cách có hệ thống, chúng tôi đề xuất FIT-MAC, một khung kiểm soát đa tác nhân có ý thức về thất bại, khóa kín để cải thiện độ bền của các chính sách VLA tại thời điểm suy luận. FIT-MAC tăng một chính sách VLA với một lớp kiểm soát thời gian

Machine translation (Meta M2M100); the English original follows.

Abstract

Vision-language-action (VLA) models have achieved strong performance on standard robotic manipulation benchmarks. However, their reliability can degrade substantially when task conditions deviate from the nominal setting. Perturbations in object positions and task instructions may lead to complete task failure. Existing VLA policies generally lack an explicit runtime mechanism for distinguishing these failure modes and selecting an appropriate recovery strategy. To systematically mitigate this issue, we propose FIT-MAC, a failure-aware, closed-loop multi-agent control framework for improving the robustness of VLA policies at inference time. FIT-MAC augments a VLA policy with an inference-time control layer. First, the Planner Agent parses the language instruction into a structured task specification that captures the manipulation goal and spatial constraints, and the Grounder Agent resolves each instruction-level reference to a visual target. Next, the Verifier Agent tracks phase-specific execution progress, distinguishes target-binding errors from local execution failures, and determines whether intervention is warranted. The Correction Agent then routes permitted interventions to target rebinding or bounded grasping or placement recovery, depending on the failure type. When no intervention is required, the pretrained VLA remains the default action generator. Extensive experiments on LIBERO-PRO demonstrate that FIT-MAC improves robustness across multiple VLA backbones, consistently increasing success rates and achieving state-of-the-art performance under diverse perturbations.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Robustness (evolution), Planner, Inference, Task (project management), Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange