Newest papers

Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective

Simon Martin, Francis Bach, Giulio Biroli · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29864 · cited by 0 works (OpenAlex) · open-access PDF

Hindi

हम उच्च आयाम मोड में दो परतों के लाइनर नेटवर्क में ग्रेडेंट प्रवाह का अध्ययन करते हैं जहां इनपुट, आंतरिक और आउटपुट आयाम अनुपात में भिन्न होते हैं। सफेद इनपुट और इसोट्रोपिक असंतुलन के तहत, हम पहले यादृच्छिक मैट्रिक्स सिद्धांत के परिणामों के साथ गतिशीलता का एक बंद-प्रकार समाधान संयोजन करते हैं ताकि गतिशीलता के लिए एक उच्च आयाम सीमा उत्पन्न हो। हमारी विधि हर समय वजन मैट्रिक्स के लिए सटीक असिप्टोटिक स्पेक्ट्रल वितरण प्रदान करती है और सीखने वाले उप-स्पेस के विकास को दर्शाती है। छोटे प्रारंभिक सीमा में, हम एक चुपचाप समायोज्य घटना की पहचान करते हैं: नेटवर्क के

Machine translation (Meta M2M100); the English original follows.

Abstract

We study gradient flow in a two-layer linear network in the high-dimensional regime where the input, inner and output dimensions diverge proportionally. Under whitened inputs and isotropic imbalance, we combine a closed-form solution of the dynamics with prior random matrix theory results to derive a high-dimensional limit for the dynamics. Our method yields exact asymptotic spectral distributions for the weight matrices at all times and characterizes the evolution of the learned subspace. In the small-initialization limit, we identify a silent alignment phenomenon: the singular directions of the network align on an order-one timescale, while the singular values and empirical loss remain at their initial values. Visible learning occurs later, on a logarithmic timescale, as singular values progressively escape zero and the loss decreases. This phase is characterized by a saddle-to-saddle dynamics, which becomes a continuous process of spectral learning in the high-dimensional limit.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Mathematics, Limit (mathematics), Singular value, Perspective (graphical), Logarithm, Matrix (chemical analysis)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange