Kartik Tandon, Alessio Borgi, Pavel Snopov, Inés García-Redondo, Davide D'Ascenzo, Sebastiano Cultrera di Montesano, Fabrizio Silvestri, Pietro Liò · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28458 · open-access PDF
Joint-Embedding Predictive Architectures (JEPA) bieten einen ansprechenden Ansatz zum selbstbeaufsichtigten Lernen, sind aber typischerweise anfällig für Repräsentations-Kollaps. LeJEPA löst dies durch die Einführung eines theoretisch zugrunde liegenden Verteilungs-Matching-Objektivs, das die Einbettung in Richtung eines isotropischen Gaussian treibt. Dieser Ansatz ist jedoch grundsätzlich an Euclidische Annahmen gebunden, und sein globales Ziel spiegelt nicht domeinspezifische geometrische Prioren wider, wie z. B. die Verwendung nicht-Euclidischer Einbettungsgeometrien, z. B. gleichwertige CNNs oder hyperbolische ViTs.
Machine translation (Meta M2M100); the English original follows.
Joint-Embedding Predictive Architectures (JEPA) offer an appealing approach to self-supervised learning, but are typically prone to representation collapse. LeJEPA resolves this by introducing a theoretically grounded distribution-matching objective that drives the embedding towards an isotropic Gaussian. However, this approach is fundamentally tied to Euclidean assumptions, and its global target does not reflect domain-specific geometric priors, such as the use of non-Euclidean embedding geometries, e.g., equivariant CNNs or hyperbolic ViTs. We thus introduce LocaLeJEPA, a framework motivated
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28458, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange