Mahdi Sabbaghi, George Pappas, Hamed Hassani, Adel Javanmard · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31563 · open-access PDF
Online Policy Destillation (OPD) thường vượt trội hơn các phương pháp ngoại tuyến như Supervised Fine-Tuning (SFT) bằng cách đào tạo trên các quỹ đạo được lấy mẫu trực tiếp từ học sinh. Tuy nhiên, tiêu chuẩn OPD đào tạo học sinh theo giáo viên ở mọi trạng thái của quỹ đạo, giả định rằng hướng dẫn của giáo viên luôn có lợi. Thay vào đó, chúng tôi phân biệt giữa những gì giáo viên thích và những gì thực sự giúp học sinh hiện tại thành công. Chúng tôi giới thiệu Destillation dựa trên chính sách dựa trên lợi thế (AOPD), cân nhắc hành động của giáo viên bằng lợi thế chống thực tế của họ dưới học sinh.
Machine translation (Meta M2M100); the English original follows.
Online Policy Distillation (OPD) often outperforms offline methods such as Supervised Fine-Tuning (SFT) by training on trajectories sampled directly from the student. However, standard OPD trains the student to follow the teacher at every state of the trajectory, assuming that teacher guidance is always beneficial. We instead distinguish between what the teacher prefers and what actually helps the current student succeed. We introduce Advantage-Based On-Policy Distillation (AOPD), which weights teacher actions by their counterfactual advantage under the student. Teacher actions that improve th
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31563, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange