Newest papers

Polar Switch: Fast Muon Orthogonalization with Polynomial Circuits

Zhehang Du, Weijie Su · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26742 · open-access PDF

Japanese

Muonは2024年生まれの言語モデルの最適化者で、2015年生まれのスペクトラルグレディントの下落は主に、グラウンドマトリックスの正方形化のための高速でGPUフレンドリーなニュートン-シュルツ・ポリノミアルによって異なります。したがって、研究の一行は、Polar ExpressやGram Newton-Schulzなどのグレディント オルトゴナリゼーションのためのより速いポリノミアルイテレーションを提案しています。この論文では、ポリノミッドグレディント オルトゴナリゼーションのための新しいアプローチであるPolar Switchを紹介しています。シンプルなポリノミッド回路を使用して、Polar Switchは、quiよりも低い

Machine translation (Meta M2M100); the English original follows.

Abstract

Muon, a 2024-born optimizer for language models, differs from the 2015-born spectral gradient descent mainly in its fast, GPU-friendly Newton--Schulz polynomial for orthogonalizing the gradient matrix. Accordingly, a line of research proposes faster polynomial iterations for gradient orthogonalization, such as Polar Express and Gram Newton--Schulz, both built on quintic polynomials. In this paper, we introduce Polar Switch, a new approach to polynomial gradient orthogonalization. Using simple polynomial circuits, Polar Switch reaches a given high polynomial degree at a lower FLOP cost than qui

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange