Newest papers

Weak-$L^α$ Noise, Strong Guarantees: Gradient Clipping under Affine Heavy Tails

Alyona Nekrasova, Makar Sidorov, Savelii Chezhegov, Alexander Gasnikov, Margarita Preobrazhenskaia, Igor Preobrazhensky, Eduard Gorbunov · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28107 · open-access PDF

Russian

Gradient clipping является ключевым инструментом для получения гарантий высокой вероятности конвергенции для стохастических методов первого порядка при тяжелом хвостовом шуме. Существующие анализы обычно предполагают ограниченный центральный момент порядка $α\in(1,2)$, что исключает распределения с хвостами порядка $u^{-α}$ по критическому экспоненту. В этой статье мы рассматриваем плавную конвексную оптимизацию под афинным тяжелым хвостовым шумом, масштаб которой может расти с нормой градиента. Мы получаем гарантии высокой вероятности конвергенции для отрезанного SGD (Clip-SGD) и его ускоренного варианта Clip-SSTM при слабом состоянии хвоста $L^$α, который

Machine translation (Meta M2M100); the English original follows.

Abstract

Gradient clipping is a key tool for obtaining high-probability convergence guarantees for stochastic first-order methods under heavy-tailed noise. Existing analyses typically assume a bounded central moment of order $α\in(1,2]$, which excludes distributions with tails of order $u^{-α}$ at the critical exponent. In this paper, we consider smooth convex optimization under affine heavy-tailed noise, whose scale may grow with the gradient norm. We derive high-probability convergence guarantees for clipped SGD (Clip-SGD) and its accelerated variant Clip-SSTM under a weak-$L^α$ tail condition, which

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange