Newest papers

Do Neural Models Prefer Their Submodels?

Alvaro Ribot, Yulia Alexandr, Anna Seigal · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28439 · cited by 0 works (OpenAlex) · open-access PDF

French

Un modèle neuronal est l'ensemble des fonctions qui peuvent être exprimées par une architecture de réseau neuronal donnée. Les modèles neuronaux contiennent des sous-modèles naturels, tels que ceux obtenus en plaçant certains neurones à être inactifs. Nous étudions la géométrie des modèles neuronaux et demandons s'ils préfèrent leurs sous-modèles. Par cela, nous entendons si les minimisateurs locaux de la fonction de perte se trouvent dans un sous-modèle donné. Nous introduisons un cadre géométrique pour déterminer si cela se produit. Pour les perceptrons à plusieurs couches peu profondes, nous montrons que les sous-réseaux avec des neurones cachés inactifs ne sont jamais préférés. Pour les perceptrons à plusieurs couches profondes, nous donn

Machine translation (Meta M2M100); the English original follows.

Abstract

A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditions under which subnetworks with inactive hidden neurons are not preferred. For lightning self-attention, lower-rank submodels are usually not preferred, but we identify examples where they are because they lie on a boundary of the model. Our results show that, aside from a few exceptions, preference for submodels cannot be explained by the geometry of the neural model, and must instead come from other sources such as training dynamics.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Artificial neural network, Artificial intelligence, Set (abstract data type), Boundary (topology), Computer science, Function (biology)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange