Zhongxin Chen, Songhao Wu, Heng Cui, Cong Li, Xiao Zhou, Rui Yan · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26824 · open-access PDF
Matryoshka Representation Learning (MRL) wurde entwickelt, um flexible Repräsentationsgrößen durch gemeinsame Optimierung eingebetteter Präfixe zu unterstützen. Obwohl wirksam, fehlt dieser Entwurf an einer expliziten Einschränkung, um sicherzustellen, dass der führende Teil eine geeignete kompakte Codierung bietet. Um dies zu lösen, schlagen wir SpecMRL vor, der den Feature-Raum reorganisiert, um eine effizientere Präfix-Lesung zu ermöglichen. Insbesondere erweitern wir MRL mit einer Parameter-derivierten Spektralbasis, die mit Feature-Wert organisiert ist. SpecMRL folgt ansonsten dem Standard MRL, wobei das Präfix-Lesen im erlernten Spektralraum durchgeführt wird. Experimente auf MTE
Machine translation (Meta M2M100); the English original follows.
Matryoshka Representation Learning (MRL) is designed to support flexible representation sizes by jointly optimizing nested prefixes. While effective, this design lacks an explicit constraint to ensure that the leading portion provides a suitable compact encoding. To address this, we propose SpecMRL, which reorganizes the feature space to enable more effective prefix readout. Specifically, we extend MRL with a parameter-derived spectral basis organized with feature importance. SpecMRL otherwise follows standard MRL, with prefix readout performed in the learned spectral space. Experiments on MTE
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26824, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange