Newest papers

Hierarchical Token Merging with Recursive Autoencoders for Unsupervised Grammar Induction

Murat Guney Kemal, Robert Lieck · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26695 · open-access PDF

Arabic

إن التخطيط التقليدي هو مبادئ أساسية في العديد من أنواع البيانات، مما يسمح بتشكيل الترتيبات المعقدة على مستويات متعددة. تعلم مثل هذه الترتيبات مباشرة من البيانات، دون مراقبة الهيكلية التفصيلية، لا يزال تحدياً أساسيًا في تعلم التمثيل. نحن نستعرض ما إذا كان يمكن أن ينشأ هيكل التقليدي المعقد من التخطيط وحدها. في حين أن المدونات الذكية تعلم التمثيل المضغوط من خلال التكوين الجديد، فإن هذا الهدف ليس بالضرورة يفضل هيكل التمثيل المعقد.

Machine translation (Meta M2M100); the English original follows.

Abstract

Hierarchical abstraction is a fundamental principle across many data modalities, enabling complex sequences to be represented compositionally at multiple levels. Learning such hierarchies directly from data, without explicit structural supervision, remains a central challenge in representation learning. We investigate whether meaningful hierarchical structure can emerge from compression alone. While autoencoders learn compressed representations through reconstruction, this objective does not necessarily favour meaningful compositional structure. We study this challenge through unsupervised gra

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange