Newest papers

SPARE: Sparsity Allocation via Routing Entropy for Efficient MoEs

Yifan Yang, Hanling Yi, Dongquan Yang, Feng Lin, Rong Xiao, Aijun Li, Xiaotian Yu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29662 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các kiến trúc Mixture-of-Experts (MoE) quy mô khả năng mô hình một cách hiệu quả, nhưng dấu chân bộ nhớ đáng kể của họ tạo ra một rào cản lớn đối với việc triển khai. Chuyên gia cắt giảm dấu chân này, nhưng hầu hết các phương pháp tập trung vào các chuyên gia để loại bỏ và cắt từng lớp một cách bình đẳng. Chúng tôi đề xuất SPARE (Sparsity Allocation thông qua Routing Entropy), một phương pháp miễn phí đào tạo, chọn lọc-agnostic quyết định bao nhiêu chuyên gia để loại bỏ từ mỗi lớp bằng cách sử dụng entropy định tuyến, entropy của mã thông báo tiêu chuẩn Top-K cổng trọng lượng trên dữ liệu hiệu chuẩn. Khi trọng lượng cổng của mã thông báo được phân phối đồng đều, loại bỏ một chuyên gia hoạt động loại bỏ ít nó, vì vậy SPARE cắt lớp với đường phân tán nhiều

Machine translation (Meta M2M100); the English original follows.

Abstract

Mixture-of-Experts (MoE) architectures scale model capacity efficiently, yet their substantial memory footprint poses a major barrier to deployment. Expert pruning reduces this footprint, but most methods focus on which experts to remove and prune every layer equally. We propose SPARE (Sparsity Allocation via Routing Entropy), a training-free, selector-agnostic method that decides how many experts to remove from each layer using routing entropy, the entropy of tokens' normalized Top-K gate weights on calibration data. When a token's gate weight is spread evenly, removing one active expert discards little of it, so SPARE prunes layers with more diffuse routing more aggressively. A perturbation bound under random pruning formalizes this intuition, and controlled interventions with a fixed selector link concentrated routing to larger output changes. With the same selector and budget, SPARE improves average accuracy over uniform allocation on Mixtral, Qwen3, and DeepSeek models, especially at high pruning ratios. At 50% expert pruning, it raises the eight-task average of Qwen3-30B-A3B from 57.2% to 63.8%, and the math, code, and science average of DeepSeek-R1 from 80.1 to 82.8.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Spare part, Computer science, Entropy (arrow of time), Mathematical optimization, Pruning, Routing (electronic design automation)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange