Newest papers

Forward-Only Learning for Shared-Kernel Wavelet Neural Networks without Backpropagation

Yongfei Guo, Xuan Sun, Ang Li, Zhao Zhang, Yuanhao Gong · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29697 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Backpropagation vẫn là mô hình đào tạo thống trị, sử dụng gradients backward và cập nhật địa phương có thể bị biến mất hoặc phát nổ gradients trong các mạng sâu. Mặc dù thuật toán Forward-Forward tránh backpropagation thông thường, nó vẫn chủ yếu là theo hướng địa phương hoặc lớp, thúc đẩy toàn cầu toàn mạng học tập chỉ bằng cách sử dụng đánh giá phía trước. Đối với các mạng thần kinh wavelet lõi chia sẻ, do đó, chúng tôi đề xuất một khuôn khổ học tập toàn cầu chỉ hướng về phía trước dựa trên CMA-ES. Chúng tôi tiếp tục giới thiệu phân hủy tham số nhận thức cấu trúc và phân bổ tín dụng cụ thể kênh, tính toán tìm kiếm thành ba tiểu không gian. Trên BSDS500, phương pháp của chúng tôi kiểm tra giảm MSE từ 4.1783 đến 4.0130 và cải thiện PSNR từ 42.621 đến 42.

Machine translation (Meta M2M100); the English original follows.

Abstract

Backpropagation remains the dominant training paradigm, using backward gradients and local updates that can suffer from vanishing or exploding gradients in deep networks. Although the Forward-Forward algorithm avoids conventional backpropagation, it remains mainly local or layer-wise, motivating global whole-network learning using forward evaluations only. For shared-kernel wavelet neural networks, we therefore propose a CMA-ES-based global forward-only learning framework. We further introduce structure-aware parameter decomposition and channel-specific credit assignment, factorizing the search into three subspaces. On BSDS500, our method reduces test MSE from 4.1783 to 4.0130 and improves PSNR from 42.621 to 42.787~dB over Adam/BP without backward propagation. Beyond these gains, training requires only 6 training-set coverages, compared with 1500 epochs for BP. Ablations show that structural decomposition and aligned credit assignment are more important than increasing population size, demonstrating the feasibility of whole-network forward-only learning for compact reconstruction networks. These results suggest a potential route toward forward-only optimization of compact reconstruction models for resource-constrained imaging and edge or near-sensor systems.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Backpropagation, Artificial intelligence, Artificial neural network, Computer science, Wavelet, Pattern recognition (psychology)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange