Newest papers

LEAN: Loss-Engineered Modulation of the Model Weight-Sensitivity Distribution for Efficient, Error-Tolerant Neural Networks

Habibur Rahaman, Swarup Bhunia · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28872 · open-access PDF

Hindi

एक प्रशिक्षित नेटवर्क के वजनों में मॉडल सटीकता के लिए समान संवेदनशीलता नहीं होती है: 1% सबसे संवेदनशील वजनों को एक छोटे से फ्लिप द्वारा किए जाने वाले नुकसान का लगभग पांचवां हिस्सा होता है। यह वितरण एक मॉडल की बिट-फ्लिप सहिष्णुता का फैसला करता है, एक कोड को कवर करने के लिए वजनों का अनुपात और प्रत्येक वजन की आवश्यकताओं के बिट; मौजूदा योजनाएं वितरण प्रशिक्षण पत्तियों के साथ काम करती हैं। हम दिखाते हैं कि हम सिस्टम रूप से एक प्रशिक्षित मॉडल की वजन संवेदनशीलता वितरण को मॉड्यूल कर सकते हैं या बदल सकते हैं, जिससे वजनों को एक संवेदनशीलता बैन से दूसरे में स्थानांतरित किया जा सकता है। एक संग्रहीत वजन

Machine translation (Meta M2M100); the English original follows.

Abstract

The weights of a trained network do not have uniform sensitivity to model accuracy: the 1% most sensitive weights carry about a fifth of the damage a bit flip can do. This distribution decides the bit-flip tolerance of a model, the fraction of weights a code must cover and the bits each weight needs; existing schemes work with the distribution training leaves. We show that we can systematically modulate or alter the weight sensitivity distribution of a trained model, thereby shifting weights from one sensitivity bin to another. The sensitivity of a stored weight is the product of its gradient

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange