Newest papers

Do Neural Models Prefer Their Submodels?

Alvaro Ribot, Yulia Alexandr, Anna Seigal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28439 · open-access PDF

German

Ein neuronales Modell ist die Reihe von Funktionen, die durch eine bestimmte neuronale Netzwerkarchitektur ausgedrückt werden können. Neurale Modelle enthalten natürliche Submodelle, wie diejenigen, die durch die Einstellung einiger Neuronen zur Inaktivität erhalten werden. Wir untersuchen die Geometrie der neuronalen Modelle und fragen, ob sie ihre Submodelle bevorzugen. Dadurch meinen wir, ob lokale Minimatoren der Verlustfunktion in einem gegebenen Submodel liegen. Wir führen einen geometrischen Rahmen ein, um festzustellen, ob dies geschieht. Für flache mehrschichtige Perceptrone zeigen wir, dass Subnetze mit inaktiven versteckten Neuronen niemals bevorzugt sind. Für tiefe mehrschichtige Perceptrone geben wir Conditio

Machine translation (Meta M2M100); the English original follows.

Abstract

A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditio

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange