Newest papers

Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective

Simon Martin, Francis Bach, Giulio Biroli · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29864 · cited by 0 works (OpenAlex) · open-access PDF

Portuguese

Estudamos o fluxo de gradiente em uma rede linear de duas camadas no regime de alta dimensão onde as dimensões de entrada, de entrada e de saída divergem proporcionalmente. Sob entradas brancas e desequilíbrio isotrópico, combinamos uma solução de forma fechada da dinâmica com os resultados da teoria da matriz aleatória prévia para derivar um limite de alta dimensão para a dinâmica. Nosso método produz distribuições espectrales assintóticas exatas para as matrizes de peso em todos os momentos e caracteriza a evolução do subespaço aprendido. No limite de pequena iniciação, identificamos um fenômeno de alinhamento silencioso: as direções singulares da rede se alinham em uma escala de tempo de ordem única, enquanto os valores singulares e as perdas empíricas permanecem em seus valores ini

Machine translation (Meta M2M100); the English original follows.

Abstract

We study gradient flow in a two-layer linear network in the high-dimensional regime where the input, inner and output dimensions diverge proportionally. Under whitened inputs and isotropic imbalance, we combine a closed-form solution of the dynamics with prior random matrix theory results to derive a high-dimensional limit for the dynamics. Our method yields exact asymptotic spectral distributions for the weight matrices at all times and characterizes the evolution of the learned subspace. In the small-initialization limit, we identify a silent alignment phenomenon: the singular directions of the network align on an order-one timescale, while the singular values and empirical loss remain at their initial values. Visible learning occurs later, on a logarithmic timescale, as singular values progressively escape zero and the loss decreases. This phase is characterized by a saddle-to-saddle dynamics, which becomes a continuous process of spectral learning in the high-dimensional limit.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Mathematics, Limit (mathematics), Singular value, Perspective (graphical), Logarithm, Matrix (chemical analysis)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange