Newest papers

Variance Reduction with Delayed Feedback for Non-Convex Optimization

Wei Jiang, Dingzhi Yu, Zechao Li · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28510 · open-access PDF

Vietnamese

Chúng tôi nghiên cứu giảm biến động cho tối ưu hóa không cong khi các đánh giá độ dốc trở lại với một sự chậm trễ. Máy chủ có thể cập nhật tham số trong khi các đánh giá trước đó vẫn chưa hoàn tất. Chúng tôi đầu tiên phân tích một ước tính động lực tái diễn được sắp xếp cho tối ưu hóa stochastic. Dưới sự mịn màng trung bình và biến động giới hạn, độ phức tạp của nó là $O(1+σ^2ε^{-2}+LΔ_f(1+σ/ε+τ)ε^{-2}$, nơi mục tiêu là một tiêu chuẩn độ dốc vuông dự kiến tối đa là $ε^2$ và $τ$ giới hạn sự chậm trễ phản hồi. Chúng tôi tiếp tục nghiên cứu tổng kết với $n$ thành phần và nhận được $O(n+L_Δf(\sqrt n+min\

Machine translation (Meta M2M100); the English original follows.

Abstract

We study variance reduction for non-convex optimization when gradient evaluations return with a delay. The server can update the parameter while earlier evaluations remain unfinished. We first analyze an ordered recursive momentum estimator for stochastic optimization. Under average smoothness and bounded variance, its oracle complexity is $O(1+σ^2ε^{-2}+LΔ_f(1+σ/ε+τ)ε^{-2})$, where the target is an expected squared gradient norm of at most $ε^2$ and $τ$ bounds the feedback delay. We next study finite sums with $n$ components and obtain $O(n+LΔ_f(\sqrt n+\min\{τ,n-1\})ε^{-2})$ evaluations. An

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange