Newest papers

Do Neural Models Prefer Their Submodels?

Alvaro Ribot, Yulia Alexandr, Anna Seigal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28439 · open-access PDF

Indonesian

Model saraf adalah seperangkat fungsi yang dapat diungkapkan oleh arsitektur jaringan saraf tertentu. Model saraf mengandung submodel alami, seperti yang diperoleh dengan mengatur beberapa neuron untuk tidak aktif. Kami mempelajari geometri model saraf dan bertanya apakah mereka lebih suka submodel mereka. Dengan ini kami berarti apakah minimalis lokal dari fungsi kerugian terletak dalam submodel tertentu. Kami memperkenalkan kerangka geometris untuk menentukan apakah ini terjadi. Untuk perceptron multilayer dangkal, kami menunjukkan bahwa subnet dengan neuron tersembunyi yang tidak aktif tidak pernah disukai. Untuk perceptron multilayer dalam, kami memberikan kondisi

Machine translation (Meta M2M100); the English original follows.

Abstract

A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditio

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange