Newest papers

SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum

Zhongxin Chen, Songhao Wu, Heng Cui, Cong Li, Xiao Zhou, Rui Yan · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26824 · cited by 0 works (OpenAlex) · open-access PDF

Arabic

تم تصميم Matryoshka Representation Learning (MRL) لتعزيز حجم التمثيل المضغوط من خلال تحسين المكونات المضغوطة بشكل مشترك. في حين أنها فعالة، فإن هذا التصميم لا يحتاج إلى ضغط واضح لضمان أن الجزء الرئيسي يوفر التمثيل المضغوط المناسب. لتنفيذ ذلك، نحن نقدم SpecMRL، الذي يسيطر على مساحة المكونات لتمكين قراءة المكونات بشكل أكثر فعالية. على وجه التحديد، نحن نقدم MRL مع قاعدة المكونات المضغوطة التي تنظم مع أهمية المكونات. SpecMRL أيضًا يتبع قاعدة المكونات المضغوطة المضغوطة، مع قراءة المكونات المضغوطة التي يتم تنفيذها في مساحة المكونات المضغوطة

Machine translation (Meta M2M100); the English original follows.

Abstract

Matryoshka Representation Learning (MRL) is designed to support flexible representation sizes by jointly optimizing nested prefixes. While effective, this design lacks an explicit constraint to ensure that the leading portion provides a suitable compact encoding. To address this, we propose SpecMRL, which reorganizes the feature space to enable more effective prefix readout. Specifically, we extend MRL with a parameter-derived spectral basis organized with feature importance. SpecMRL otherwise follows standard MRL, with prefix readout performed in the learned spectral space. Experiments on MTEB show that SpecMRL outperforms MRL at all evaluated reduced dimensions, with larger gains under more aggressive compression. These results suggest that the learned spectral basis better prioritizes informative directions, enabling more effective representation compression. Notably, SpecMRL extends the performance frontier of MRL, surpassing full-dimensional MRL with only half the embedding dimensions.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Representation (politics), Embedding, Computer science, Feature (linguistics), Basis (linear algebra), Feature learning

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange