Newest papers

Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective

Simon Martin, Francis Bach, Giulio Biroli · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29864 · open-access PDF

Japanese

私たちは、入力、内部および出力の次元が比例的に異なる高次元の高層線形ネットワークでグレディエントフローを研究します。白化された入力とイソトロピックの不均衡の下で、我々は、前回のランダムマトリックス理論の結果とダイナミクスの閉ざされた形の解決を組み合わせ、ダイナミクスの高次元の限界を引き出します。我々の方法は、すべての時点で重量マトリックスの正確な非対称的スペクトル分布を生み出し、学んだサブスペースの進化を特徴づけます。小規模な初期化の限界では、我々は静かな並列現象を識別します。

Machine translation (Meta M2M100); the English original follows.

Abstract

We study gradient flow in a two-layer linear network in the high-dimensional regime where the input, inner and output dimensions diverge proportionally. Under whitened inputs and isotropic imbalance, we combine a closed-form solution of the dynamics with prior random matrix theory results to derive a high-dimensional limit for the dynamics. Our method yields exact asymptotic spectral distributions for the weight matrices at all times and characterizes the evolution of the learned subspace. In the small-initialization limit, we identify a silent alignment phenomenon: the singular directions of

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange