Newest papers

Inside-JEPA: From Prediction to Relational Grounding in Latent World Models

Hossein Resani, Javen Qinfeng Shi · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31194 · open-access PDF

Vietnamese

Joint-embedding predictive architectures (JEPAs) học các mô hình thế giới trong không gian tiềm ẩn, cho phép lập kế hoạch hiệu quả nhưng để lại trạng thái của họ mờ. Chúng tôi giới thiệu Inside-JEPA, nơi đặt các kênh quan hệ cho các cặp thực thể được sắp xếp bên trong trạng thái tiềm ẩn của JEPA và cho thấy rằng một mất năng động ngược có thể làm nền tảng các kênh này mà không có nhãn quan hệ khi đầu đọc chúng, một mình hoặc như là một phần của trạng thái đầy đủ. Trên Something-Something V2, dự đoán tiềm ẩn một mình không thực hiện tốt hơn một đầu quan hệ ngẫu nhiên, trong khi giám sát năng động ngược phục hồi các hành động từ thay đổi kênh cải thiện

Machine translation (Meta M2M100); the English original follows.

Abstract

Joint-embedding predictive architectures (JEPAs) learn world models in latent space, enabling efficient planning but leaving their states opaque. We introduce Inside-JEPA, which places relational channels for ordered entity pairs inside the JEPA latent state and shows that an inverse-dynamics loss can ground these channels without relation labels when its head reads them, either alone or as part of the full state. On Something-Something V2, latent prediction alone performs no better than a random relation head, while inverse-dynamics supervision that recovers actions from channel changes impro

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange