Newest papers

Convergence of stochastic gradient descent for learning linear neural networks

Gabin Maxime Nguegnang, Bubacarr Bah, Holger Rauhut, Ulrich Terstiege · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28561 · open-access PDF

French

La descente de gradient stochastique (SGD) est la pierre angulaire de l'apprentissage profond moderne, mais ses propriétés théoriques de convergence restent mal comprises dans les environnements non convexes. Pour résoudre ce fossé, nous étudions la dynamique de la SGD dans les réseaux neuronaux linéaires profonds - des modèles simplifiés qui conservent les caractéristiques clés non convexes tout en restant traçables analytiquement. Sur la base des résultats récents de la descente de gradient, nous étendons les garanties de convergence à la SGD sous perte carré régularisée. Nous établissons une limitation presque certaine des itérations de la SGD. En utilisant le cadre des pseudotrajec

Machine translation (Meta M2M100); the English original follows.

Abstract

Stochastic gradient descent (SGD) is the cornerstone of modern deep learning, yet its theoretical convergence properties remain poorly understood in non-convex settings. To address this gap, we study SGD dynamics in deep linear neural networks - simplified models that retain key non-convex characteristics while remaining analytically tractable. Building on recent results for gradient descent, we extend convergence guarantees to SGD under regularized squared loss. We establish almost sure boundedness of SGD iterates. Using the framework of asymptotic pseudotrajectories from stochastic approxima

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange