Murat Guney Kemal, Robert Lieck · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26695 · open-access PDF
L'abstraction hiérarchique est un principe fondamental à travers de nombreuses modalités de données, permettant aux séquences complexes d'être représentées compositionnellement à plusieurs niveaux. Apprendre de telles hiérarchies directement à partir de données, sans supervision structurelle explicite, reste un défi central dans l'apprentissage de la représentation. Nous enquêtons sur la question de savoir si une structure hiérarchique significative peut émerger de la compression seule. Alors que les auto-codageurs apprennent les représentations comprimées par la reconstruction, cet objectif ne favorise pas nécessairement une structure de composition significative.
Machine translation (Meta M2M100); the English original follows.
Hierarchical abstraction is a fundamental principle across many data modalities, enabling complex sequences to be represented compositionally at multiple levels. Learning such hierarchies directly from data, without explicit structural supervision, remains a central challenge in representation learning. We investigate whether meaningful hierarchical structure can emerge from compression alone. While autoencoders learn compressed representations through reconstruction, this objective does not necessarily favour meaningful compositional structure. We study this challenge through unsupervised gra
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26695, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange