Newest papers

Variance Reduction with Delayed Feedback for Non-Convex Optimization

Wei Jiang, Dingzhi Yu, Zechao Li · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28510 · open-access PDF

German

Wir untersuchen Varianzreduktion für nicht konvexe Optimierung, wenn Gradientbewertungen mit einer Verzögerung zurückkehren. Der Server kann den Parameter aktualisieren, während frühere Bewertungen unvollendet bleiben. Wir analysieren zuerst einen geordneten recursiven Momentum-Schätzungsmittel für stochastische Optimierung. Unter durchschnittlicher Glatzigkeit und begrenzter Varianz ist seine Oracle-Komplexität $O(1+σ^2ε^-2}+LΔ_f(1+σ/ε+τ)ε^-2}$, wo das Ziel eine erwartete Quadratgradientnorm von höchstens $ε^2$ und $τ$ die Rückmeldungsverzögerung begrenzt. Wir untersuchen anschließend endliche Summen mit $n$-Komponenten und

Machine translation (Meta M2M100); the English original follows.

Abstract

We study variance reduction for non-convex optimization when gradient evaluations return with a delay. The server can update the parameter while earlier evaluations remain unfinished. We first analyze an ordered recursive momentum estimator for stochastic optimization. Under average smoothness and bounded variance, its oracle complexity is $O(1+σ^2ε^{-2}+LΔ_f(1+σ/ε+τ)ε^{-2})$, where the target is an expected squared gradient norm of at most $ε^2$ and $τ$ bounds the feedback delay. We next study finite sums with $n$ components and obtain $O(n+LΔ_f(\sqrt n+\min\{τ,n-1\})ε^{-2})$ evaluations. An

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange