Newest papers

Do Neural Models Prefer Their Submodels?

Alvaro Ribot, Yulia Alexandr, Anna Seigal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28439 · open-access PDF

Japanese

ニューラル・モデルは、特定のニューラル・ネットワーク・アーキテクチャによって表現できる機能のセットです。ニューラル・モデルは、いくつかのニューラルを非アクティブにするように設定することによって得られたサブモデルを含みます。我々はニューラル・モデルのジオメトリーを研究し、彼らがサブモデルを好むかどうかを尋ねます。これによって我々は、損失機能のローカル・ミニマザーが特定のサブモデルに存在するかどうかを意味します。我々は、これが起こるかどうかを決定するためのジオメトリック・フレームワークを導入します。浅い多層感知器の場合、我々は、非アクティブな隠れたニューラルを持つサブネットが決して好まないことを示しています。

Machine translation (Meta M2M100); the English original follows.

Abstract

A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditio

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange