Mahdi Sabbaghi, George Pappas, Hamed Hassani, Adel Javanmard · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31563 · open-access PDF
La distillation de la politique en ligne (OPD) dépasse souvent les méthodes hors ligne telles que le Supervised Fine-Tuning (SFT) en formant sur des trajectoires échantillonnées directement auprès de l'étudiant. Cependant, l'OPD standard forme l'étudiant à suivre l'enseignant à chaque état de la trajectoire, en supposant que la guidance de l'enseignant est toujours bénéfique. Nous distinguons plutôt entre ce que l'enseignant préfère et ce qui aide réellement l'étudiant actuel à réussir. Nous introduisons la distillation basée sur les avantages de la politique (AOPD), qui pèse les actions des enseignants par leur avantage contre-factuel sous l'étudiant.
Machine translation (Meta M2M100); the English original follows.
Online Policy Distillation (OPD) often outperforms offline methods such as Supervised Fine-Tuning (SFT) by training on trajectories sampled directly from the student. However, standard OPD trains the student to follow the teacher at every state of the trajectory, assuming that teacher guidance is always beneficial. We instead distinguish between what the teacher prefers and what actually helps the current student succeed. We introduce Advantage-Based On-Policy Distillation (AOPD), which weights teacher actions by their counterfactual advantage under the student. Teacher actions that improve th
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31563, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange