Newest papers

LEAN: Loss-Engineered Modulation of the Model Weight-Sensitivity Distribution for Efficient, Error-Tolerant Neural Networks

Habibur Rahaman, Swarup Bhunia · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28872 · open-access PDF

Indonesian

Berat jaringan yang dilatih tidak memiliki sensitivitas yang seragam terhadap akurasi model: 1% berat paling sensitif membawa sekitar seperlima dari kerusakan yang dapat dilakukan oleh flip bit. Distribusi ini menentukan toleransi bit-flip dari sebuah model, bagian dari berat yang harus ditutupi oleh kode dan bit-bit yang dibutuhkan oleh masing-masing berat; skema yang ada bekerja dengan lembar pelatihan distribusi. Kami menunjukkan bahwa kita dapat secara sistematis memodifikasi atau mengubah distribusi sensitivitas berat dari model yang dilatih, dengan demikian memindahkan berat dari satu bin sensitivitas ke yang lain. Sensitivitas berat yang disimpan adalah produk dari gradientnya

Machine translation (Meta M2M100); the English original follows.

Abstract

The weights of a trained network do not have uniform sensitivity to model accuracy: the 1% most sensitive weights carry about a fifth of the damage a bit flip can do. This distribution decides the bit-flip tolerance of a model, the fraction of weights a code must cover and the bits each weight needs; existing schemes work with the distribution training leaves. We show that we can systematically modulate or alter the weight sensitivity distribution of a trained model, thereby shifting weights from one sensitivity bin to another. The sensitivity of a stored weight is the product of its gradient

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange