Runyang You, Yongqi Li, Tiezheng Yu, Wenjie Li · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28048 · open-access PDF
On-Policy Destillation (OPD) консолидирует экспертные возможности в одном ученике, сопоставляя распределения последнего слоя учителя и студента на выпуске, генерируемом учащимися. Мы исследуем, могут ли глубокие прогнозные переходы, изменения прогнозов между слоями, обеспечить дополнительный надзор, соответствующий задачам.Наше диагностическое исследование обнаруживает, что более сильное согласие учителя-студента в промежуточных переходах связано с более высокой правильностью ответов в вопросах, с правильными ответами, показывающими более низкий средний переход KL во всех измеренных парах промежуточного слоя.
Machine translation (Meta M2M100); the English original follows.
On-policy distillation (OPD) consolidates expert capabilities into a single student by matching teacher and student final-layer distributions on student-generated rollouts. We investigate whether depthwise prediction transitions, the changes in predictions between layers, can provide additional task-relevant supervision. Our diagnostic study finds that stronger teacher--student agreement in intermediate transitions is associated with higher answer correctness within questions, with correct responses exhibiting lower mean transition KL across all measured intermediate layer pairs. These observa
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28048, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange