Newest papers

Beyond Omni: A Unified MLLM for Embodied Sensory Understanding

Shiyun Xiong, Dongming Wu, Peiwen Sun, Bokang Yang, Jiaxu Wang, Xiaolou Sun, Mingxing Wen, Xiangyu Yue · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26751 · open-access PDF

Russian

Недавние воплощенные системы все чаще опираются на мультимодальные модели большого языка (MLLM) для их предварительно обученных возможностей понимания и рассуждения, но их восприятие физического мира остается в значительной степени ограничено основными модальностями, такими как зрение и звук. Тем не менее, расширение MLLM к более разнообразным сенсорным модальностям из физической среды является сложной задачей: их представления часто слабо связаны с MLLM и существенно различаются по структуре и статистике, в то время как их интерпретация все еще требует общего понимания и рассуждений на высоком уровне.

Machine translation (Meta M2M100); the English original follows.

Abstract

Recent embodied systems increasingly build on multimodal large language models (MLLMs) for their pretrained understanding and reasoning capabilities, but their perception of the physical world remains largely limited to basic modalities such as vision and audio. However, broadening MLLMs to more diverse sensory modalities from the physical environment is challenging: their representations are often weakly connected to the MLLM and vary substantially in structure and statistics, while their interpretation still requires shared high-level understanding and reasoning. We therefore propose Unisens

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange