Newest papers

Intra-Rubric Reward Divergence: Mitigating Rubric Hacking through Latent Dimension Recovery and Balancing

Jianqiang Xia, Han Xu, Dianxi Shi · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26685 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Hack tiêu đề giới hạn cả hiệu suất và độ bền đào tạo trong việc học tập tăng cường dựa trên tiêu đề. Bằng cách phân hủy tiêu đề thành các kích thước con, chúng tôi tiết lộ sự khác biệt về phần thưởng trong tiêu đề: khi tổng điểm tiêu đề tăng lên, một số điểm phân kích nhất định sẽ giảm một cách có hệ thống, cho thấy mô hình hy sinh các khía cạnh chất lượng cụ thể để tối ưu hóa mục tiêu tổng hợp. Từ quan điểm tiểu kích thước, chúng tôi quan sát hai hiện tượng: (1) sự mất cân bằng kích thước, khiến chính sách ủng hộ các kích thước được bao phủ nặng; (2) sự vắng mặt kích thước, dẫn đến khoảng cách có hệ thống giữa phần thưởng và chất lượng thực. Để giảm thiểu những vấn đề này, chúng tôi đề xuất Fair-Race Dimension Aggregation (DA), có các thế hệ cạnh tranh trong mỗi kích thước riêng biệt để giảm

Machine translation (Meta M2M100); the English original follows.

Abstract

Rubric hacking limits both performance and training robustness in rubric-based reinforcement learning. By decomposing rubrics into sub-dimensions, we reveal the Intra-Rubric Reward Divergence: as the total rubric score increases, certain sub-dimension scores systematically decrease, suggesting the model sacrifices specific quality aspects to optimize the aggregated objective. From the sub-dimension perspective, we observe two phenomena: (1) dimension imbalance, causing the policy to favor heavily covered dimensions; (2) dimension absence, leading to a systematic gap between rewards and true quality. To mitigate these issues, we propose Fair-Race Dimension Aggregation (FRDA), which has generations compete within each dimension separately to mitigate rubric imbalance, and Residual Semantic Dimension Completion (RSDC), which mines evaluation dimensions implicitly encoded in a holistic preference signal to complete rubric coverage. Experiments in chat, science, and medical domains indicate that FRDA mitigates rubric hacking with more stable improvements, while RSDC outperforms both single-reward training and naive multi-reward aggregation, yielding generally higher-quality responses.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Rubric, Dimension (graph theory), Robustness (evolution), Computer science, Hacker, Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange