Newest papers

Newton-Based Methods for Bilevel Optimization Beyond Lower-Level Strong Convexity

Youran Dong, Junfeng Yang, Wei Yao, Jin Zhang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26839 · open-access PDF

German

Bilevel-Optimierung bietet einen Rahmen für Machine Learning-Aufgaben wie Hyperparameter-Optimierung, Datenwichtsetzung und Meta-Learning. Bestehende Newton-basierte Bilevel-Methoden verlassen sich typischerweise auf die klassische Hypergradient-Formel, die im Allgemeinen nicht verfügbar ist, wenn Lösungen auf niedrigeren Ebenen nicht einzigartig sind und die niedrigere Hessian-Ebene einzigartig ist. Wir entwickeln zwei Newton-basierte Methoden über die niedrigere starke Konvexität hinaus, indem wir die Krümmung nutzen, die von den niedrigeren Ebenen und Multiplikator-Updates geteilt wird.

Machine translation (Meta M2M100); the English original follows.

Abstract

Bilevel optimization provides a framework for machine learning tasks such as hyperparameter optimization, data reweighting, and meta-learning. Existing Newton-based bilevel methods typically rely on the classical hypergradient formula, which is generally unavailable when lower-level solutions are nonunique and the lower-level Hessian is singular. We develop two Newton-based methods beyond lower-level strong convexity by exploiting curvature shared by the lower-level and multiplier updates. Newton-based GALET handles potentially singular lower-level curvature under a positive spectral-gap condi

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange