Newest papers

Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation

Shu Zhao, Tan Yu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28586 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Việc đào tạo không có điểm hỗ trợ của đại lý trong bối cảnh này là sự phân hủy chính sách tốt (OPD) huấn luyện một đại lý sinh viên trên các quỹ đạo riêng của nó trong khi một giáo viên ghi điểm mỗi token. Một lời giải thích tự nhiên về nơi nó đi sai là sai lầm tổng hợp: những sai lầm của học sinh mang quỹ đạo của nó vượt ra ngoài khu vực nơi giáo viên đáng tin cậy, vì vậy các phương pháp gần đây của giáo viên vẫn tiếp tục đào tạo bên trong khu vực đó, thông qua các chương trình giảng dạy dài tập trung, chuyển đổi do giáo viên hướng dẫn, lặp lại tiền tố, hoặc can thiệp của giáo viên nơi hai người không đồng ý. Chúng tôi cho thấy lời giải thích này là không đầy đủ. Từ các tiểu bang nơi học sinh rời khỏi giáo viên, các động thái chậm trễ an toàn của nó, do đó

Machine translation (Meta M2M100); the English original follows.

Abstract

Agentic on-policy distillation (OPD) trains a student agent on its own trajectories while a teacher scores every token. A natural explanation of where it goes wrong is compounding error: the student's mistakes carry its trajectories beyond the region where the teacher is reliable, so recent methods keep training inside that region, through episode-length curricula, teacher-guided turns, prefix replay, or teacher intervention where the two disagree. We show this explanation is incomplete. From the states where the student departs most from the teacher, the teacher's own takeovers still finish the task, yet the student trained on its token scores keeps running out of turns. We attribute this to the myopia of next-token scoring. The teacher rates each token without seeing where the episode ends, so its scores let through the safe, delaying moves that outcome-based RL would punish with zero reward, a penalty agentic OPD lacks. We call this difference between what the teacher does and what it scores the rollout-scorer gap. We propose Rollout-to-Scorer Distillation (R2S), which repairs the scorer before distillation by mining high-disagreement states from the untrained student, running teacher takeovers from them, keeping the states where enough takeovers pass a reward-free check such as consensus or an LLM judge, and fine-tuning the teacher to give its takeover-informed scores on every assistant token from the divergence turn onward, without the takeover in context. The repaired teacher is frozen as the sole scorer for standard OPD, requiring no task reward during repair or training. Across three environments, two teachers and four students, R2S outperforms three state-of-the-art agentic-OPD methods in all twelve teacher-student-environment cells, by 12.8 success points on average over the best of them in each cell. Project page: https://tree-shu-zhao.github.io/r2s/.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Task (project management), Computer science, Control (management), Psychology, Distillation, Security token

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange