Newest papers

Weak-$L^α$ Noise, Strong Guarantees: Gradient Clipping under Affine Heavy Tails

Alyona Nekrasova, Makar Sidorov, Savelii Chezhegov, Alexander Gasnikov, Margarita Preobrazhenskaia, Igor Preobrazhensky, Eduard Gorbunov · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28107 · open-access PDF

Vietnamese

Gradient clipping là một công cụ quan trọng để có được các đảm bảo hội tụ xác suất cao cho các phương pháp trật tự đầu tiên trong tiếng ồn đuôi nặng. Các phân tích hiện có thường giả định một khoảnh khắc trung tâm giới hạn của đơn đặt hàng $α\in(1,2)$, loại trừ các phân phối với đuôi của đơn đặt hàng $u^{-α}$ ở chỉ số quan trọng. Trong bài báo này, chúng tôi xem xét tối ưu hóa trật tự cong mịn dưới tiếng ồn đuôi nặng có liên quan, quy mô có thể tăng lên với tiêu chuẩn gradent. Chúng tôi lấy ra các đảm bảo hội tụ xác suất cao cho SGD cắt (Clip-SGD) và biến thể tăng tốc Clip-SSTM của nó trong điều kiện đuôi yếu $L^$, mà

Machine translation (Meta M2M100); the English original follows.

Abstract

Gradient clipping is a key tool for obtaining high-probability convergence guarantees for stochastic first-order methods under heavy-tailed noise. Existing analyses typically assume a bounded central moment of order $α\in(1,2]$, which excludes distributions with tails of order $u^{-α}$ at the critical exponent. In this paper, we consider smooth convex optimization under affine heavy-tailed noise, whose scale may grow with the gradient norm. We derive high-probability convergence guarantees for clipped SGD (Clip-SGD) and its accelerated variant Clip-SSTM under a weak-$L^α$ tail condition, which

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange