Newest papers

Do Neural Models Prefer Their Submodels?

Alvaro Ribot, Yulia Alexandr, Anna Seigal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28439 · open-access PDF

Spanish

Un modelo neural es el conjunto de funciones que pueden ser expresadas por una arquitectura de red neural dada. Los modelos neuronales contienen submodelos naturales, tales como los obtenidos al establecer que algunas neuronas sean inactivas. Estudiamos la geometría de los modelos neuronales y preguntamos si prefieren sus submodelos. Por esto queremos decir si los minimizadores locales de la función de pérdida se encuentran en un submodelo dado. Introducimos un marco geométrico para determinar si esto ocurre. Para los perceptrones multilayer superficiales, mostramos que las subredes con neuronas ocultas inactivas nunca son preferidas. Para los perceptrones multilayer profundos, damos conditio

Machine translation (Meta M2M100); the English original follows.

Abstract

A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditio

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange