Newest papers

The role of locality and weight sharing in convolutional neural networks

Francesco Mori, Melanie Weber · 2026 · arXiv

DOI: 10.48550/arXiv.2610.30118 · open-access PDF

Spanish

El éxito de las redes neuronales convolucionales a menudo se atribuye a la localidad y el reparto de peso. Sin embargo, cómo estas dos propiedades forman el aprendizaje por separado, y cómo sus efectos dependen de las correlaciones espaciales de las imágenes naturales, siguen siendo mal comprendidas. abordamos estas preguntas en un modelo profesor-estudiante con un profesor convolucional actuando en posiciones de entrada $P$ con correlación $c$ entre posiciones. Comparamos a los estudiantes convolucionales y conectados localmente capacitados por descenso de gradientes estocásticos en línea, y derivamos ecuaciones diferenciales ordinarias que describen su dinámica exactamente en t

Machine translation (Meta M2M100); the English original follows.

Abstract

The success of convolutional neural networks is often attributed to locality and weight sharing. However, how these two properties separately shape learning, and how their effects depend on the spatial correlations of natural images, remain poorly understood. We address these questions in a teacher-student model with a convolutional teacher acting on $P$ input positions with correlation $c$ between positions. We compare convolutional and locally connected students trained by online stochastic gradient descent, and derive ordinary differential equations that describe their dynamics exactly in t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange