Newest papers

Convergence of stochastic gradient descent for learning linear neural networks

Gabin Maxime Nguegnang, Bubacarr Bah, Holger Rauhut, Ulrich Terstiege · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28561 · open-access PDF

Spanish

El descenso de gradientes estocásticos (SGD) es la piedra angular del aprendizaje profundo moderno, sin embargo, sus propiedades teóricas de convergencia siguen siendo mal comprendidas en configuraciones no convexas. Para abordar esta brecha, estudiamos la dinámica de SGD en redes neuronales lineales profundas - modelos simplificados que conservan las características clave no convexas mientras permanecen analíticamente tractibles. Basándose en los resultados recientes para el descenso de gradientes, extendemos las garantías de convergencia a SGD bajo pérdida cuadrada regularizada. Establecemos un límite casi seguro de las iteraciones de SGD. Usando el marco de pseudotrajectories asimétricas de aproximación estocástica

Machine translation (Meta M2M100); the English original follows.

Abstract

Stochastic gradient descent (SGD) is the cornerstone of modern deep learning, yet its theoretical convergence properties remain poorly understood in non-convex settings. To address this gap, we study SGD dynamics in deep linear neural networks - simplified models that retain key non-convex characteristics while remaining analytically tractable. Building on recent results for gradient descent, we extend convergence guarantees to SGD under regularized squared loss. We establish almost sure boundedness of SGD iterates. Using the framework of asymptotic pseudotrajectories from stochastic approxima

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange