Newest papers

Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective

Simon Martin, Francis Bach, Giulio Biroli · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29864 · open-access PDF

Vietnamese

Chúng tôi nghiên cứu dòng chảy độ dốc trong một mạng lưới tuyến tính hai lớp trong chế độ chiều cao, nơi các kích thước đầu vào, bên trong và đầu ra khác nhau theo tỷ lệ. Dưới các đầu vào bị tẩy trắng và sự mất cân bằng isotropic, chúng tôi kết hợp một giải pháp hình dạng đóng của động lực học với kết quả lý thuyết ma trận ngẫu nhiên trước để dẫn đến một giới hạn chiều cao cho động lực học. Phương pháp của chúng tôi tạo ra sự phân bố phổ không đồng nhất chính xác cho các ma trận trọng lượng mọi lúc và đặc trưng cho sự tiến hóa của không gian con học. Trong giới hạn khởi đầu nhỏ, chúng tôi xác định một hiện tượng sắp xếp im lặng: các hướng duy nhất của

Machine translation (Meta M2M100); the English original follows.

Abstract

We study gradient flow in a two-layer linear network in the high-dimensional regime where the input, inner and output dimensions diverge proportionally. Under whitened inputs and isotropic imbalance, we combine a closed-form solution of the dynamics with prior random matrix theory results to derive a high-dimensional limit for the dynamics. Our method yields exact asymptotic spectral distributions for the weight matrices at all times and characterizes the evolution of the learned subspace. In the small-initialization limit, we identify a silent alignment phenomenon: the singular directions of

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange