Newest papers

Do Neural Models Prefer Their Submodels?

Alvaro Ribot, Yulia Alexandr, Anna Seigal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28439 · open-access PDF

Korean

신경 모델은 특정 신경 네트워크 아키텍처에 의해 표현 될 수있는 기능의 집합입니다. 신경 모델은 일부 신경 모델을 비활성화하도록 설정함으로써 얻은 것과 같은 자연적인 하위 모델을 포함합니다. 우리는 신경 모델의 기하학을 연구하고 그들이 하위 모델을 선호하는지 여부를 묻습니다. 이것으로 우리는 손실 기능의 로컬 최소화가 특정 하위 모델에 있는지 여부를 의미합니다. 우리는 이것이 발생하는지 여부를 결정하기 위해 기하학적 프레임 워크를 도입합니다. 가벼운 다층 인식론의 경우, 우리는 비활성화 된 숨겨진 신경을 가진 하위 네트워크가 결코 선호되지 않는다는 것을 보여줍니다. 깊은 다층 인식론의 경우, 우리는 조건을 제공

Machine translation (Meta M2M100); the English original follows.

Abstract

A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditio

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange