Newest papers

Stochastic Nonlinearities Improve Uncertainty Estimation

Mohammad Sarhangzadeh, Amirreza M. Shebly, Doruk Öner · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29875 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Đánh giá độ không chắc chắn đáng tin cậy là quan trọng trên các nhiệm vụ nhận dạng hình ảnh, cung cấp thông tin về sự tin cậy và độ tin cậy của dự đoán mô hình. Nhiều phương pháp ước tính độ không chắc chắn có được sự đa dạng dự đoán thông qua các cơ chế có thể ức chế các tính năng trung gian, làm gián đoạn đầu vào hoặc đòi hỏi tính toán bổ sung đáng kể. Các chức năng kích hoạt Stochastic, nơi các đơn vị mạng ngẫu nhiên chọn giữa nhiều tính năng không tuyến tính trong quá trình chuyển tiếp, trước đây đã được sử dụng để cải thiện hành vi tối ưu hóa, giảm thiểu các hạn chế của các hoạt động ReLU cố định, và tăng sự đa dạng hóa đầu ra. Trong công việc này, chúng tôi tái tạo chuyển đổi kích hoạt Stochastic như một cơ chế nhẹ cho ước tính sự không chắc chắn. Phương pháp được đề xuất lấy mẫu

Machine translation (Meta M2M100); the English original follows.

Abstract

Reliable uncertainty estimation is important across visual recognition tasks, providing information about the confidence and reliability of model predictions. Many uncertainty estimation methods obtain predictive diversity through mechanisms that can suppress intermediate features, perturb the input, or require substantial additional computation. Stochastic activation functions, where network units randomly select between multiple nonlinearities during a forward pass, have previously been used to improve optimization behavior, mitigate limitations of fixed ReLU activations, and increase output diversity. In this work, we reframe stochastic activation switching as a lightweight mechanism for uncertainty estimation. The proposed method samples between nonlinear activation functions, inducing predictive diversity while keeping intermediate feature pathways active. This enables uncertainty estimation from a single trained model without the training cost of ensembles, task-specific uncertainty heads, or architectural redesign. We evaluate the proposed approach across classification, semantic segmentation, and out-of-distribution detection using convolutional and transformer-based architectures on diverse datasets. Across these settings, stochastic activation switching improves uncertainty quality while preserving competitive primary-task performance, showing that stochastic nonlinearities provide an effective and information-preserving source of predictive variation for visual recognition.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Reliability (semiconductor), Nonlinear system, Feature (linguistics), Stochastic process, Quality (philosophy)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange