Newest papers

Curvature-Scaled Sharpness-Aware Minimization: Convergence Beyond Smoothness

Dimitris Oikonomou, Nicolas Loizou · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29192 · open-access PDF

Spanish

Sharpness-Aware Minimization (SAM) se ha establecido como un método ampliamente utilizado para el entrenamiento de redes neuronales profundas. A pesar de su popularidad, las garantías de convergencia existentes para los métodos de tipo SAM requieren suavidad, una suposición restrictiva. Las condiciones de suavidad generalizadas han sido propuestas recientemente en el análisis de los métodos de gradientes, pero siguen siendo poco exploradas para SAM. Para analizar el efecto de la perturbación de SAM bajo suavidad generalizada, usamos la distorsión de gradientes relativa para cuantificar cómo la dirección de suavidad-consciente se desvía del gradiente original.

Machine translation (Meta M2M100); the English original follows.

Abstract

Sharpness-Aware Minimization (SAM) has established itself as a widely used method for training deep neural networks. Despite its popularity, existing convergence guarantees for SAM-type methods require smoothness, a restrictive assumption. Generalized smoothness conditions have recently been proposed in the analysis of gradient methods but remain underexplored for SAM. To analyze the effect of SAM's perturbation under generalized smoothness, we use relative gradient distortion to quantify how the sharpness-aware direction departs from the original gradient. Under $(L_0,L_1)$-smoothness, we sho

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange