Newest papers

Variance Reduction with Delayed Feedback for Non-Convex Optimization

Wei Jiang, Dingzhi Yu, Zechao Li · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28510 · open-access PDF

Japanese

私たちは、グレディント評価が遅れて戻るときに、非コンヴェックスの最適化のための変数削減を研究します。サーバは、以前の評価が未完成の間、パラメータを更新することができます。私たちは、最初にストーカスティックの最適化のための順序付けの回復動力推定器を分析します。平均的な滑らかさと限られた変数の下で、そのオラクル複雑さは$O(1+σ^2ε^{-2}+LΔ_f(1+σ/ε+τ)ε^{-2})$であり、ターゲットは最大で$ε^2$および$τ$がフィードバック遅延を制限する予定のグレディント基準です。私たちは、次に$n$のコンポーネントで

Machine translation (Meta M2M100); the English original follows.

Abstract

We study variance reduction for non-convex optimization when gradient evaluations return with a delay. The server can update the parameter while earlier evaluations remain unfinished. We first analyze an ordered recursive momentum estimator for stochastic optimization. Under average smoothness and bounded variance, its oracle complexity is $O(1+σ^2ε^{-2}+LΔ_f(1+σ/ε+τ)ε^{-2})$, where the target is an expected squared gradient norm of at most $ε^2$ and $τ$ bounds the feedback delay. We next study finite sums with $n$ components and obtain $O(n+LΔ_f(\sqrt n+\min\{τ,n-1\})ε^{-2})$ evaluations. An

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange