Newest papers

Don't Skip the Baseline: A Controlled Comparison of Dynamic Expert Skipping in MoEs

Jakob Steimle, Thomas Elsken, Daniel Ehrhardt, Lukas Rinder, Daniel Cremers, Xi Wang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28369 · open-access PDF

Russian

Растущий объем работы предлагает динамические методы скачивания экспертов для моделей Mixture-of-Experts (MoE), которые регулируют количество экспертов, активированных на токен во время вывода, с целью сохранения качества модели при дальнейшем сокращении количества активных параметров. Эти методы добавили калиброванные баллы важности, метрики сходства между экспертами или выученные распределители на токен, чтобы идентифицировать экспертов, чтобы пропустить. Однако различные режимы калибровки, различные сокращения эффективного числа экспертов и комплекты оценки затрудняют сравнения.

Machine translation (Meta M2M100); the English original follows.

Abstract

A growing body of work proposes dynamic expert-skipping methods for Mixture-of-Experts (MoE) models that adjust the number of experts activated per token during inference, aiming to preserve model quality while further reducing the number of active parameters. These methods have added calibrated importance scores, inter-expert similarity metrics, or learned per-token allocators in order to identify experts to skip. However, different calibration regimes, different reductions in the effective number of experts, and evaluation suites make comparisons difficult. We classify four representative pr

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange