Simon Martin, Francis Bach, Giulio Biroli · 2026 · arXiv
DOI: 10.48550/arXiv.2610.29864 · open-access PDF
Estudiamos el flujo de gradientes en una red lineal de dos capas en el régimen de alta dimensión donde las dimensiones de entrada, interior y salida divergen proporcionalmente. Bajo las entradas blanqueadas y el desequilibrio isotrópico, combinamos una solución de forma cerrada de la dinámica con los resultados de la teoría de matrices aleatorias previas para derivar un límite de alta dimensión para la dinámica. Nuestro método produce distribuciones espectrales asintóticas exactas para las matrices de peso en todo momento y caracteriza la evolución del subespacio aprendido. En el límite de la pequeña iniciación, identificamos un fenómeno de alineación silenciosa: las direcciones singulares de
Machine translation (Meta M2M100); the English original follows.
We study gradient flow in a two-layer linear network in the high-dimensional regime where the input, inner and output dimensions diverge proportionally. Under whitened inputs and isotropic imbalance, we combine a closed-form solution of the dynamics with prior random matrix theory results to derive a high-dimensional limit for the dynamics. Our method yields exact asymptotic spectral distributions for the weight matrices at all times and characterizes the evolution of the learned subspace. In the small-initialization limit, we identify a silent alignment phenomenon: the singular directions of
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29864, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange