Newest papers

Do Neural Models Prefer Their Submodels?

Alvaro Ribot, Yulia Alexandr, Anna Seigal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28439 · open-access PDF

Russian

Нейронная модель - это совокупность функций, которые могут быть выражены данной архитектурой нейронной сети. Нейронные модели содержат естественные подмодели, такие как те, которые получены путем установки некоторых нейронов на неактивность. Мы изучаем геометрию нейронных моделей и спрашиваем, предпочитают ли они свои подмодели. По этому мы имеем в виду, находятся ли локальные минимизаторы функции потери в данной подмодели. Мы вводим геометрическую структуру, чтобы определить, происходит ли это. Для неглубоких многослойных перцептронов мы показываем, что субсети с неактивными скрытыми нейронами никогда не предпочтены. Для глубоких многослойных перцептронов мы даем условие

Machine translation (Meta M2M100); the English original follows.

Abstract

A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditio

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange