Newest papers

SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum

Zhongxin Chen, Songhao Wu, Heng Cui, Cong Li, Xiao Zhou, Rui Yan · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26824 · open-access PDF

Vietnamese

Matryoshka Representation Learning (MRL) được thiết kế để hỗ trợ kích thước đại diện linh hoạt bằng cách cùng nhau tối ưu hóa các tiền tố được niêm phong. Trong khi hiệu quả, thiết kế này thiếu một hạn chế rõ ràng để đảm bảo rằng phần dẫn đầu cung cấp mã hóa nhỏ gọn thích hợp. Để giải quyết điều này, chúng tôi đề xuất SpecMRL, trong đó tái tổ chức không gian tính năng để cho phép đọc tiền tố hiệu quả hơn. Đặc biệt, chúng tôi mở rộng MRL với một cơ sở phổ bắt nguồn từ các thông số được tổ chức với tầm quan trọng của tính năng. SpecMRL theo MRL tiêu chuẩn, với việc đọc tiền tố được thực hiện trong không gian phổ học. Thí nghiệm trên MTE

Machine translation (Meta M2M100); the English original follows.

Abstract

Matryoshka Representation Learning (MRL) is designed to support flexible representation sizes by jointly optimizing nested prefixes. While effective, this design lacks an explicit constraint to ensure that the leading portion provides a suitable compact encoding. To address this, we propose SpecMRL, which reorganizes the feature space to enable more effective prefix readout. Specifically, we extend MRL with a parameter-derived spectral basis organized with feature importance. SpecMRL otherwise follows standard MRL, with prefix readout performed in the learned spectral space. Experiments on MTE

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange