Newest papers

SenseAlign: Understanding Vision and Touch through Language at Test Time

Chuyang Ye, Qinting Jiang, Jingyan Jiang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28511 · open-access PDF

Vietnamese

Các mô hình ngôn ngữ cảm ứng kết hợp tầm nhìn và cảm ứng thông qua một không gian ngôn ngữ chung để nhận ra các đối tượng và vật liệu. Trong triển khai trong thế giới thực, thay đổi ánh sáng, chất lượng tiếp xúc hoặc phần cứng cảm biến có thể thay đổi đầu vào hình ảnh hoặc cảm ứng và làm suy yếu hiệu suất nhận dạng. Khi cả hai phương thức góp phần dự đoán, một phương thức không đáng tin cậy có thể lật ngược bằng chứng chính xác từ người khác. Vì dữ liệu nhãn thường không có sẵn trong quá trình triển khai, điều chỉnh thời gian thử nghiệm cung cấp một cách để phục hồi hiệu suất nhận dạng từ các quan sát không có nhãn.

Machine translation (Meta M2M100); the English original follows.

Abstract

Tactile-visual-language models combine vision and touch through a shared language space to recognize objects and materials. In real-world deployment, changes in lighting, contact quality or sensor hardware can shift visual or tactile inputs and degrade recognition performance. When both modalities contribute to a prediction, an unreliable modality can override correct evidence from the other. Since labeled data are generally unavailable during deployment, test-time adaptation offers a way to recover recognition performance from unlabeled observations. In this setting, we find that comparing ac

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange