Newest papers

SPARE: Sparsity Allocation via Routing Entropy for Efficient MoEs

Yifan Yang, Hanling Yi, Dongquan Yang, Feng Lin, Rong Xiao, Aijun Li, Xiaotian Yu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29662 · open-access PDF

Spanish

Las arquitecturas de Mixture-of-Experts (MoE) escalan la capacidad del modelo de manera eficiente, pero su huella de memoria sustancial supone una gran barrera para la implementación. El triturado de expertos reduce esta huella, pero la mayoría de los métodos se centran en cuáles expertos deben eliminar y triturar cada capa de la misma manera. Proponemos SPARE (Asignación de Esparidad a través de la Entropía de Rutación), un método libre de entrenamiento, selector-agnostic que decide cuántos expertos deben eliminar de cada capa usando la entropía de enrutamiento, la entropía de las tarjetas normalizadas Top-K pesa sobre los datos de calibración. Cuando el peso de la puerta de un token se distribuye uniformemente, eliminando un disco experto activo

Machine translation (Meta M2M100); the English original follows.

Abstract

Mixture-of-Experts (MoE) architectures scale model capacity efficiently, yet their substantial memory footprint poses a major barrier to deployment. Expert pruning reduces this footprint, but most methods focus on which experts to remove and prune every layer equally. We propose SPARE (Sparsity Allocation via Routing Entropy), a training-free, selector-agnostic method that decides how many experts to remove from each layer using routing entropy, the entropy of tokens' normalized Top-K gate weights on calibration data. When a token's gate weight is spread evenly, removing one active expert disc

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange