Simon Martin, Francis Bach, Giulio Biroli · 2026 · arXiv
DOI: 10.48550/arXiv.2610.29864 · open-access PDF
Wir untersuchen den Gradientfluss in einem zweischichtigen linearen Netzwerk im hochdimensionalen Regime, in dem die Eingangs-, Innen- und Ausgangsdimensionen proportional abweichen. Bei verweißten Eingängen und isotropen Ungleichgewichten kombinieren wir eine geschlossene Formlösung der Dynamik mit vorherigen Randommatrix-Theorieergebnissen, um eine hochdimensionale Grenze für die Dynamik abzuleiten. Unsere Methode liefert exakte asymptotische Spektralverteilungen für die Gewichtsmatrixen zu allen Zeiten und charakterisiert die Entwicklung des gelernten Unterraums.
Machine translation (Meta M2M100); the English original follows.
We study gradient flow in a two-layer linear network in the high-dimensional regime where the input, inner and output dimensions diverge proportionally. Under whitened inputs and isotropic imbalance, we combine a closed-form solution of the dynamics with prior random matrix theory results to derive a high-dimensional limit for the dynamics. Our method yields exact asymptotic spectral distributions for the weight matrices at all times and characterizes the evolution of the learned subspace. In the small-initialization limit, we identify a silent alignment phenomenon: the singular directions of
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29864, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange