Newest papers

CoGaussian: Open-Vocabulary Gaussian-based Collaborative 3D Scene Understanding

Om Shivam Verma, Shaya Farahmand, Lingjun Zhao, Lu Gan · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28530 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Nhận thức hợp tác cho phép các đại lý thu thập ngữ nghĩa và hình học của cảnh bên ngoài tầm nhìn của bất kỳ đại lý cá nhân nào. Sự hiểu biết rộng hơn về cảnh này làm tăng sự an toàn giao thông và cải thiện hiệu quả trong các hệ thống đa robot. Tuy nhiên, các phương pháp chiếm đóng ngữ nghĩa hợp tác hiện có dựa trên các ghi chú voxel 3D dày đặc và được giới hạn để nhận ra các đối tượng trong một tập hợp các lớp ngữ nghĩa được xác định trước. Để vượt qua những hạn chế này, chúng tôi trình bày CoGaussian, một khuôn khổ dự đoán ngữ nghĩa hợp tác dựa trên từ vựng mở của Gaussian. CoGaussian đại diện cho một cảnh như một tập hợp các mô hình 3D Gaussians phức tạp phù hợp với mô hình nền tảng, phục vụ như một sự nén cho việc đại diện và đại diện thông tin hình học và ngữ

Machine translation (Meta M2M100); the English original follows.

Abstract

Collaborative perception enables agents to retrieve the scene semantics and geometry beyond the field of view of any individual agent. This broader scene understanding enhances transportation safety and improves efficiency in multi-robot systems. However, existing collaborative semantic occupancy methods rely on dense 3D voxel annotations and are limited to recognizing objects within a predefined set of semantic classes. To overcome these limitations, we present CoGaussian, an open-vocabulary Gaussian-based collaborative semantic occupancy prediction framework. CoGaussian represents a scene as a set of foundation model-aligned sparse 3D Gaussians, which serve as a compact representation for communicating and fusing geometric and semantic information across multiple agents. On the Semantic-OPV2V benchmark, our method outperforms existing open-vocabulary single-agent approaches, highlighting the effectiveness of open-vocabulary collaborative scene understanding.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Semantics (computer science), Set (abstract data type), Representation (politics), Field (mathematics), Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange