Newest papers

Do Neural Models Prefer Their Submodels?

Alvaro Ribot, Yulia Alexandr, Anna Seigal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28439 · open-access PDF

Vietnamese

Một mô hình thần kinh là tập hợp các chức năng có thể được thể hiện bởi một kiến trúc mạng thần kinh nhất định. Mô hình thần kinh chứa các mô hình con tự nhiên, chẳng hạn như những mô hình thu được bằng cách đặt một số tế bào thần kinh không hoạt động. Chúng tôi nghiên cứu hình học của các mô hình thần kinh và hỏi liệu họ có thích các mô hình con của họ hay không. Bằng cách này, chúng tôi có nghĩa là liệu các tối thiểu hóa chức năng mất mát địa phương nằm trong một mô hình con nhất định hay không. Chúng tôi giới thiệu một khuôn khổ hình học để xác định nếu điều này xảy ra. Đối với các perceptrons đa lớp mỏng manh, chúng tôi cho thấy rằng các mạng con với các tế bào thần kinh ẩn không hoạt động không bao giờ được ưa thích. Đối với các perceptrons đa lớp sâu, chúng tôi đưa ra điều kiện

Machine translation (Meta M2M100); the English original follows.

Abstract

A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditio

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange