Newest papers

Convergence of stochastic gradient descent for learning linear neural networks

Gabin Maxime Nguegnang, Bubacarr Bah, Holger Rauhut, Ulrich Terstiege · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28561 · open-access PDF

Portuguese

A descida de gradiente estocástico (SGD) é a pedra angular do aprendizado profundo moderno, mas suas propriedades teóricas de convergência permanecem mal compreendidas em configurações não-convexas. Para abordar esta lacuna, estudamos a dinâmica de SGD em redes neurais lineares profundas - modelos simplificados que retêm características-chave não-convexas enquanto permanecem analíticamente rastreáveis. Com base nos resultados recentes para a descida de gradiente, estendemos as garantias de convergência para SGD sob perda quadrada regularizada. Estabelecemos uma limitação quase certa de iterações de SGD. Usando o quadro de pseudotrajetórias assintóticas de aproximação estocástica

Machine translation (Meta M2M100); the English original follows.

Abstract

Stochastic gradient descent (SGD) is the cornerstone of modern deep learning, yet its theoretical convergence properties remain poorly understood in non-convex settings. To address this gap, we study SGD dynamics in deep linear neural networks - simplified models that retain key non-convex characteristics while remaining analytically tractable. Building on recent results for gradient descent, we extend convergence guarantees to SGD under regularized squared loss. We establish almost sure boundedness of SGD iterates. Using the framework of asymptotic pseudotrajectories from stochastic approxima

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange