Newest papers

SenseAlign: Understanding Vision and Touch through Language at Test Time

Chuyang Ye, Qinting Jiang, Jingyan Jiang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28511 · open-access PDF

Russian

Тактильно-визуальные языковые модели объединяют зрение и прикосновение через общее языковое пространство для распознавания объектов и материалов. В реальном мире изменения в освещении, качестве контакта или аппаратуре датчиков могут сдвинуть визуальные или тактильные входы и ухудшить производительность распознавания. Когда обе модальности способствуют прогнозу, ненадежная модальность может перекрыть правильные доказательства друг от друга. Поскольку маркированные данные обычно недоступны во время развертывания, адаптация тестового времени предлагает способ восстановить производительность распознавания от необозначенных наблюдений.

Machine translation (Meta M2M100); the English original follows.

Abstract

Tactile-visual-language models combine vision and touch through a shared language space to recognize objects and materials. In real-world deployment, changes in lighting, contact quality or sensor hardware can shift visual or tactile inputs and degrade recognition performance. When both modalities contribute to a prediction, an unreliable modality can override correct evidence from the other. Since labeled data are generally unavailable during deployment, test-time adaptation offers a way to recover recognition performance from unlabeled observations. In this setting, we find that comparing ac

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange