Newest papers

SPARE: Sparsity Allocation via Routing Entropy for Efficient MoEs

Yifan Yang, Hanling Yi, Dongquan Yang, Feng Lin, Rong Xiao, Aijun Li, Xiaotian Yu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29662 · open-access PDF

Japanese

Mixture-of-Experts(MoE)アーキテクチャはモデル容量を効率的にスケールするが、その大量のメモリ足跡は展開に大きな障壁を置く。Expert pruning はこの足跡を減らすが、ほとんどの方法は、専門家がそれぞれの層を均等に削除し切断する方法に焦点を当てている。SPARE(Sparsity Allocation via Routing Entropy)は、トークンの標準化されたトップKゲートは、ルーティングエントロピーを使用して各層から削除する専門家がどれだけいるかを決定するトレーニングフリー、セレクターアグノスティックな方法である。

Machine translation (Meta M2M100); the English original follows.

Abstract

Mixture-of-Experts (MoE) architectures scale model capacity efficiently, yet their substantial memory footprint poses a major barrier to deployment. Expert pruning reduces this footprint, but most methods focus on which experts to remove and prune every layer equally. We propose SPARE (Sparsity Allocation via Routing Entropy), a training-free, selector-agnostic method that decides how many experts to remove from each layer using routing entropy, the entropy of tokens' normalized Top-K gate weights on calibration data. When a token's gate weight is spread evenly, removing one active expert disc

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange