Newest papers

Polar Switch: Fast Muon Orthogonalization with Polynomial Circuits

Zhehang Du, Weijie Su · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26742 · open-access PDF

Portuguese

Muon, um otimizador nascido em 2024 para modelos de linguagem, difere da descida de gradiente espectral nascida em 2015 principalmente em seu polinômio Newton-Schulz rápido e amigável à GPU para ortogonalizar a matriz de gradiente. Consequentemente, uma linha de pesquisa propõe iterações polinômicas mais rápidas para ortogonalização de gradiente, como o Polar Express e o Gram Newton-Schulz, ambos construídos sobre polinômio quintico. Neste artigo, apresentamos o Polar Switch, uma nova abordagem para a ortogonalização de gradiente polinômico. Usando circuitos polinômicos simples, o Polar Switch atinge um dado grau de polinômio alto a um custo FLOP menor do que o qui

Machine translation (Meta M2M100); the English original follows.

Abstract

Muon, a 2024-born optimizer for language models, differs from the 2015-born spectral gradient descent mainly in its fast, GPU-friendly Newton--Schulz polynomial for orthogonalizing the gradient matrix. Accordingly, a line of research proposes faster polynomial iterations for gradient orthogonalization, such as Polar Express and Gram Newton--Schulz, both built on quintic polynomials. In this paper, we introduce Polar Switch, a new approach to polynomial gradient orthogonalization. Using simple polynomial circuits, Polar Switch reaches a given high polynomial degree at a lower FLOP cost than qui

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange