Newest papers

Industrial ReMEmbR: Scaling Spatiotemporal Memory to Robot Fleets

Jad Yammine, Malek Wahidi, Abrar Anwar, Yan Chang, Mihir Acharya, Anthony Rizk · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28624 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Hạm đội robot kho liên tục quan sát các điều kiện hoạt động, nhưng việc bảo tồn những quan sát này như bộ nhớ ngữ nghĩa có thể tái sử dụng gây ra chi phí tính toán, truyền thông và lưu trữ đáng kể. Ví dụ, giải thích các chặn lối đi lặp đi lặp lại có thể yêu cầu xem lại video từ nhiều robot trong nhiều lần thay đổi. Chúng tôi trình bày IndustrialRemembr, một hệ thống bộ nhớ không gian-thời gian được chia sẻ mở rộng NVIDIA ReMEmbR cho các hạm đội robot và giảm tính toán bên máy chủ bằng cách tạo ra các mô tả cảnh chỉ theo yêu cầu. Trên mỗi robot, một NVIDIA Jetson mã hóa các clip video vào các bản nhúng thu thập với Cosmos-Embed1, các token thị giác với Cosmos3-Edge, và tái tạo các bản ghi nhớ với Wan2.2 VA

Machine translation (Meta M2M100); the English original follows.

Abstract

Warehouse robot fleets continuously observe operational conditions, but preserving these observations as reusable semantic memory incurs substantial computation, communication, and storage costs. For example, explaining recurring aisle blockages can require reviewing video from multiple robots across several shifts. We present IndustrialRemembr, a shared spatiotemporal memory system that extends NVIDIA ReMEmbR to robot fleets and reduces server-side computation by generating scene descriptions only on demand. On each robot, an NVIDIA Jetson encodes video clips into retrieval embeddings with Cosmos-Embed1, vision tokens with Cosmos3-Edge, and reconstruction latents with the Wan2.2 VAE, without uploading raw camera frames. The encoding models are re-used to detect people in image patches, zeroing them out to support PII abstraction for GDPR-compliant deployments. We split Cosmos3-Edge at its vision-language boundary, placing the vision encoder on the robot and the language decoder on an on-premises server. A Nemotron agent retrieves memories by content, position, and time and queries the decoder using cached vision tokens. This design eliminates caption generation at write time, while cached-token decoding reproduces the unsplit model's output in all 450 tested decodes.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Robot, Encoding (memory), Decoding methods, Computer vision, Cache

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange