Newest papers

Do Neural Models Prefer Their Submodels?

Alvaro Ribot, Yulia Alexandr, Anna Seigal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28439 · open-access PDF

Portuguese

Um modelo neural é o conjunto de funções que podem ser expressas por uma determinada arquitetura de rede neural. Os modelos neurais contêm submodelos naturais, como aqueles obtidos por definir alguns neurônios para serem inativos. Estudamos a geometria dos modelos neurais e perguntamos se eles preferem seus submodelos. Por isso queremos dizer se os minimizadores locais da função de perda estão em um determinado submodelo. Introduzimos um quadro geométrico para determinar se isso ocorre. Para perceptrons de camadas superficiais, mostramos que subredes com neurônios ocultos inativos nunca são preferidos. Para perceptrons de camadas profundas, damos condição

Machine translation (Meta M2M100); the English original follows.

Abstract

A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditio

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange