Newest papers

Variance Reduction with Delayed Feedback for Non-Convex Optimization

Wei Jiang, Dingzhi Yu, Zechao Li · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28510 · cited by 0 works (OpenAlex) · open-access PDF

French

Nous étudions la réduction de la variance pour l'optimisation non convexe lorsque les évaluations de gradients reviennent avec un retard. Le serveur peut mettre à jour le paramètre alors que les évaluations antérieures restent inachevées. Nous analysons d'abord un estimateur de moment récursif ordonné pour l'optimisation stochastique. Sous la lisibilité moyenne et la variance limitée, la complexité de son oracle est $O(1+σ^2ε^-2}+LΔ_f(1+σ/ε+τ)ε^-2}$, où la cible est une norme de gradient carré attendue d'au plus $ε^2$ et $τ$ limite le retard de rétroaction. Nous étudions ensuite les sommes finies avec $n$

Machine translation (Meta M2M100); the English original follows.

Abstract

We study variance reduction for non-convex optimization when gradient evaluations return with a delay. The server can update the parameter while earlier evaluations remain unfinished. We first analyze an ordered recursive momentum estimator for stochastic optimization. Under average smoothness and bounded variance, its oracle complexity is $O(1+σ^2ε^{-2}+LΔ_f(1+σ/ε+τ)ε^{-2})$, where the target is an expected squared gradient norm of at most $ε^2$ and $τ$ bounds the feedback delay. We next study finite sums with $n$ components and obtain $O(n+LΔ_f(\sqrt n+\min\{τ,n-1\})ε^{-2})$ evaluations. An asynchronous snapshot variant continues updating during full-gradient computations under an explicit bound on their completion time. For the stochastic method, we further replace a maximum-delay bound by a bound on the weighted amount of missing feedback.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Mathematics, Estimator, Upper and lower bounds, Bounded function, Variance reduction, Smoothness

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange