Newest papers

LEAN: Loss-Engineered Modulation of the Model Weight-Sensitivity Distribution for Efficient, Error-Tolerant Neural Networks

Habibur Rahaman, Swarup Bhunia · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28872 · open-access PDF

Portuguese

Os pesos de uma rede treinada não têm sensibilidade uniforme para a precisão do modelo: os 1% mais sensíveis carregam cerca de um quinto do dano que um bit flip pode fazer. Esta distribuição determina a tolerância de bit-flip de um modelo, a fração de pesos que um código deve cobrir e os bits que cada peso precisa; os esquemas existentes funcionam com as folhas de treinamento de distribuição. Mostramos que podemos modular ou alterar sistematicamente a distribuição de sensibilidade de peso de um modelo treinado, mudando assim os pesos de um bin de sensibilidade para outro. A sensibilidade de um peso armazenado é o produto de seu gradiente

Machine translation (Meta M2M100); the English original follows.

Abstract

The weights of a trained network do not have uniform sensitivity to model accuracy: the 1% most sensitive weights carry about a fifth of the damage a bit flip can do. This distribution decides the bit-flip tolerance of a model, the fraction of weights a code must cover and the bits each weight needs; existing schemes work with the distribution training leaves. We show that we can systematically modulate or alter the weight sensitivity distribution of a trained model, thereby shifting weights from one sensitivity bin to another. The sensitivity of a stored weight is the product of its gradient

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange