Newest papers

Newton-Based Methods for Bilevel Optimization Beyond Lower-Level Strong Convexity

Youran Dong, Junfeng Yang, Wei Yao, Jin Zhang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26839 · open-access PDF

Arabic

يوفر تحسين Bilevel إطارًا لمهام التعلم الآلي مثل تحسين التخصيص، وتقييم البيانات، والتعلم المباشر. تعتمد الأساليب Bilevel القائمة على نيوتن عادة على الصيغة Hypergradient الكلاسيكية، والتي غالبا ما تكون غير متوفرة عندما تكون حلول المستوى الأدنى غير ذات صلة، و Hessian المستوى الأدنى غير ذات صلة. ونحن نطمح في تطوير أساليب نيوتن ثانية خارج المستوى المستوى الأدنى القوي من خلال الاستفادة من التقييم المشترك من المستوى الأدنى والمتعدد. تتمكن Galet القائمة في نيوتن من التعامل مع التقييم المستوى الأدنى المحدد بشكل إيجابي.

Machine translation (Meta M2M100); the English original follows.

Abstract

Bilevel optimization provides a framework for machine learning tasks such as hyperparameter optimization, data reweighting, and meta-learning. Existing Newton-based bilevel methods typically rely on the classical hypergradient formula, which is generally unavailable when lower-level solutions are nonunique and the lower-level Hessian is singular. We develop two Newton-based methods beyond lower-level strong convexity by exploiting curvature shared by the lower-level and multiplier updates. Newton-based GALET handles potentially singular lower-level curvature under a positive spectral-gap condi

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange