Newest papers

Real-Time Radar Semantic and Panoptic Scene Understanding

Santosh Parit, Julia Hindel, Rohit Mohan, Georgi Pramatarov, Paul M. Newman, Daniele De Martini, Abhinav Valada · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26816 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Mặc dù các máy ảnh và LiDAR suy giảm trong thời tiết xấu và ánh sáng kém, Bộ phận mô phỏng liên tục sóng 4 (FMCW) quay radar cung cấp độ hiểu biết đáng tin cậy 360 ° trong các điều kiện môi trường khác nhau với chi phí tính toán tối thiểu. Tuy nhiên, sự hiểu biết về cảnh radar FMCW thời gian thực là thách thức do các tín hiệu phức tạp trở lại và phân đoạn tự động, độ phân giải thời gian hạn chế, và các bộ dữ liệu được ghi chú hợp lệ hiếm. Chúng tôi giới thiệu StreamRPS, một khuôn khổ mới cho việc phân đoạn radar FMCW phát trực tuyến trên dây chuyền quang học, bao gồm một đường ống tạo nhãn tự động thông qua việc hoàn thành cảnh LiDAR và một mạng phát trực tuyến thời gian thực cho phân đoạn ngữ học và quang học. Kiến trúc phát

Machine translation (Meta M2M100); the English original follows.

Abstract

Robust scene understanding under varying environmental conditions is essential for safe autonomous driving. While cameras and LiDAR degrade in adverse weather and poor lighting, Frequency-Modulated Continuous-Wave (FMCW) spinning radar provides dependable 360° perception at extended ranges with minimal compute cost. However, real-time FMCW radar scene understanding is challenging due to complex signal returns, limited temporal resolution, and scarce annotated datasets. We introduce StreamRPS, a novel framework for streaming FMCW radar panoptic segmentation, comprising an automated label-generation pipeline via LiDAR scene completion and a real-time streaming network for semantic and panoptic segmentation. Our encoder-decoder streaming architecture comprises a radar-specific hierarchical Transformer encoder and task-specific decoders for semantic or panoptic prediction. Our encoder introduces a stem to capture range-dependent signatures, anisotropic patch embeddings to preserve angular resolution, and axial polar attention to separately model the periodic azimuth and bounded range axes. We further introduce azimuth roll rotation augmentation to simulate ego-vehicle rotation during training. Comprehensive experiments on the SAX and BOREAS datasets validate both our auto-labeling methodology and streaming segmentation network against established baselines. We outperform the strongest baseline by at least 1.4pp while processing sectors at over 400 FPS in a 4-sector streaming setting. We additionally provide manual annotations for 100 SAX radar scans, enabling independent evaluation of the entire framework.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Lidar, Computer vision, Artificial intelligence, Radar, Remote sensing

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange