Newest papers

Over-Defense in Coding Agents Begins at Silent Forks

Hanjun Luo, Xuecheng Liu, Xiucheng Zhang, Zhuoning Xu, Yingbin Jin, Yankai Chen, Xue Liu, Hanan Salam · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.24949 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình ngôn ngữ đằng sau các đại lý mã hóa được huấn luyện sau với phần thưởng kết quả, và các phương pháp gần đây tập trung tín dụng vào các lượt quyết định kết quả. Chúng tôi thấy rằng các hành động phòng thủ vượt ra ngoài những gì một nhiệm vụ đòi hỏi cả hai. Họ bắt đầu ở các lỗ hổng im lặng, các lỗ hổng nơi mỗi hành động tiếp theo dẫn đến cùng một kết quả. Các hành động như vậy để lại tỷ lệ thành công không thay đổi, và các mô hình biên giới mất chi nhánh không tương xứng ở đó lên đến 91% các hành động quyết định theo ngân sách ngụ ý. Sửa chữa trực tiếp nhất, một người kiểm tra hành vi trong quỹ đạo phần thưởng, đạt đến những lỗ hổng này chỉ thông qua các quỹ đạo hoàn toàn tương xứng, để lại 74% các nhóm GRPO có phần thưởng và hành vi

Machine translation (Meta M2M100); the English original follows.

Abstract

Language models behind coding agents are post-trained with outcome rewards, and recent methods concentrate credit on the turns that decide the outcome. We find that defensive actions beyond what a task requires escape both. They begin at silent forks, the turns where every next action leads to the same outcome. Such actions leave the success rate unchanged, and frontier models take the disproportionate branch there in up to 91% of decisive actions under implicit budgets. The most direct fix, a checker in the trajectory reward, reaches these forks only through fully proportionate trajectories, leaving 74% of GRPO groups with identical rewards and behavior unchanged. This motivates a rethink of where learning signals belong, namely where behavior diverges, which a behavioral checker can locate and the outcome cannot. Our method, ForkDPO, contrasts a proportionate and a disproportionate action at the same prefix, at silent forks on both sides of the required behavior. On a test set of unseen repositories, it lowers a 4B model's disproportionate behavior from 70.3% to 58.9%, against 67.7% for DPO at randomly chosen turns, establishing behavioral divergence as a learning signal for how agents act beyond whether they finish. The code is publicly available at https://github.com/Astarojth/silent-forks.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Outcome (game theory), Coding (social sciences), Task (project management), Set (abstract data type), Action (physics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange