Newest papers

Curvature-Scaled Sharpness-Aware Minimization: Convergence Beyond Smoothness

Dimitris Oikonomou, Nicolas Loizou · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29192 · open-access PDF

Japanese

Sharpness-Aware Minimization (SAM) は、深層ニューラルネットワークのトレーニングのための広く使用される方法として自らを確立しました。その人気にもかかわらず、SAM タイプの方法の既存の konvergence 保証は、スムーズさ、制限的な仮定を必要としています。 グレディント 方法の分析で一般化されたスムーズさの条件が最近提案されていますが、SAM では未だに未だに研究されていません。 一般化されたスムーズさの下で SAM の干渉の効果を分析するために、私たちは、スムーズさの意識の方向が元のグレディントからどのように離れているかを定量化するために、相対的なスムーズさの歪みを使用します。

Machine translation (Meta M2M100); the English original follows.

Abstract

Sharpness-Aware Minimization (SAM) has established itself as a widely used method for training deep neural networks. Despite its popularity, existing convergence guarantees for SAM-type methods require smoothness, a restrictive assumption. Generalized smoothness conditions have recently been proposed in the analysis of gradient methods but remain underexplored for SAM. To analyze the effect of SAM's perturbation under generalized smoothness, we use relative gradient distortion to quantify how the sharpness-aware direction departs from the original gradient. Under $(L_0,L_1)$-smoothness, we sho

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange