Newest papers

Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective

Simon Martin, Francis Bach, Giulio Biroli · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29864 · cited by 0 works (OpenAlex) · open-access PDF

Indonesian

Kami mempelajari aliran gradient dalam jaringan linier dua lapisan dalam rejimen dimensi tinggi di mana dimensi input, internal dan output bervariasi secara proporsional. Di bawah input putih dan ketidakseimbangan isotropik, kami menggabungkan solusi bentuk tertutup dari dinamika dengan hasil teori matriks acak sebelumnya untuk menghasilkan batas dimensi tinggi untuk dinamika. Metode kami menghasilkan distribusi spektral asymptotic yang akurat untuk matriks berat pada setiap waktu dan karakterisasi evolusi subspasi yang dipelajari. Di dalam batas inisialisasi kecil, kami mengidentifikasi fenomena penyesuaian diam: arah tunggal dari jaringan menyesuaikan pada skala waktu satu perintah, sementara nilai tunggal dan hilangnya empiris tetap pada nilai awal mereka. Pembelajaran yang terlihat kemudian terjadi, pada skala waktu logaritmik, sebagai nilai tunggal progresif melarikan diri dan hilangnya nol.

Machine translation (Meta M2M100); the English original follows.

Abstract

We study gradient flow in a two-layer linear network in the high-dimensional regime where the input, inner and output dimensions diverge proportionally. Under whitened inputs and isotropic imbalance, we combine a closed-form solution of the dynamics with prior random matrix theory results to derive a high-dimensional limit for the dynamics. Our method yields exact asymptotic spectral distributions for the weight matrices at all times and characterizes the evolution of the learned subspace. In the small-initialization limit, we identify a silent alignment phenomenon: the singular directions of the network align on an order-one timescale, while the singular values and empirical loss remain at their initial values. Visible learning occurs later, on a logarithmic timescale, as singular values progressively escape zero and the loss decreases. This phase is characterized by a saddle-to-saddle dynamics, which becomes a continuous process of spectral learning in the high-dimensional limit.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Mathematics, Limit (mathematics), Singular value, Perspective (graphical), Logarithm, Matrix (chemical analysis)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange