Newest papers

Convergence of stochastic gradient descent for learning linear neural networks

Gabin Maxime Nguegnang, Bubacarr Bah, Holger Rauhut, Ulrich Terstiege · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28561 · open-access PDF

Japanese

ストーカス・グレディント・ディスカッション(SGD)は近代的な深い学習の基盤であるが、その理論的コンバーゲンス性質は非コンベクスな設定ではまだ理解されていない。このギャップを解決するために、深い線形神経ネットワークにおけるSGDダイナミクスを研究する - 非コンベクス性の重要な特徴を保持する簡素化されたモデルを分析的に追跡可能なままにします。グレディント・ディスカッションの最近の結果に基づき、我々は規律化された平方損失の下でSGDにコンバーゲンスの保証を拡張します。我々はSGDのイテレートのほぼ確実な限界を確立します。ストーカスティック・アプローシマ

Machine translation (Meta M2M100); the English original follows.

Abstract

Stochastic gradient descent (SGD) is the cornerstone of modern deep learning, yet its theoretical convergence properties remain poorly understood in non-convex settings. To address this gap, we study SGD dynamics in deep linear neural networks - simplified models that retain key non-convex characteristics while remaining analytically tractable. Building on recent results for gradient descent, we extend convergence guarantees to SGD under regularized squared loss. We establish almost sure boundedness of SGD iterates. Using the framework of asymptotic pseudotrajectories from stochastic approxima

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange