Newest papers

Convergence of stochastic gradient descent for learning linear neural networks

Gabin Maxime Nguegnang, Bubacarr Bah, Holger Rauhut, Ulrich Terstiege · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28561 · open-access PDF

Korean

스토하스틱 그라디엔트 다운 (SGD)는 현대 깊은 학습의 기둥이지만, 이론적 접근 속성은 비 콘벡스 설정에서 잘 이해되지 않습니다. 이 격차를 해결하기 위해, 우리는 깊은 선형 신경 네트워크에서 SGD 역학을 연구합니다 - 분석적으로 추적 할 수있는 동안 핵심 비 콘벡스 특성을 유지하는 단순화 된 모델. 그라디엔트 다운의 최근 결과를 기반으로, 우리는 정규화 된 사각형 손실하에 SGD에 접근 보증을 확장합니다. 우리는 SGD 이테라이트의 거의 확실한 한계를 확립합니다. 스토하스틱 접근에서 비합성 pseudotrajectories의 프레임 워크를 사용하여

Machine translation (Meta M2M100); the English original follows.

Abstract

Stochastic gradient descent (SGD) is the cornerstone of modern deep learning, yet its theoretical convergence properties remain poorly understood in non-convex settings. To address this gap, we study SGD dynamics in deep linear neural networks - simplified models that retain key non-convex characteristics while remaining analytically tractable. Building on recent results for gradient descent, we extend convergence guarantees to SGD under regularized squared loss. We establish almost sure boundedness of SGD iterates. Using the framework of asymptotic pseudotrajectories from stochastic approxima

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange