Newest papers

The Predictive--Optimization Gap in GuanDan Self-Play

Qicheng Zou, Biao Yuan, Siyu Song, Wentao Liu, Xiaokun Wang · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29411 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các tín hiệu dự đoán kết quả đáng tin cậy thường được coi là các mục tiêu tối ưu hóa đầy hứa hẹn trong việc học tăng cường, nhưng tính hợp lệ dự đoán và tiện ích tối ưu hóa là những tuyên bố khác nhau. Chúng tôi phơi bày sự khác biệt này trong GuanDan, một trò chơi thông tin không hoàn hảo nhiều vòng trong đó ý nghĩa của một kết quả vòng phụ thuộc vào trạng thái trận đấu công cộng. Phân tích giữ lại cho thấy các tương tác tự chơi theo phong cách DanZero phù hợp. Sự can thiệp có thể mang lại giá trị dự đoán gia tăng vượt ra ngoài hiệu ứng đạt được ký kết liên tục, xác định rằng tiến độ trận đấu được xác định là có ý nghĩa dự đoán. Sau đó chúng tôi sử dụng những thay đổi trong một dự đoán trận đấu chiến thắng đóng băng, $ΔΦ$, như một sự can thiệp giám sát vòng quay được kiểm soát trong

Machine translation (Meta M2M100); the English original follows.

Abstract

Outcome-predictive signals are often treated as promising optimization targets in reinforcement learning, but predictive validity and optimization utility are different claims. We expose this distinction in GuanDan, a multi-round imperfect-information game in which the implication of a round outcome depends on the public match state. Held-out analysis shows that state--gain interactions provide incremental predictive value beyond a constant signed-gain effect, establishing that match progress is predictively meaningful. We then use changes in a frozen match-win predictor, $ΔΦ$, as a controlled round-level supervision intervention in a matched DanZero-style Monte Carlo self-play protocol. The intervention can succeed in an individual lineage: a selected progress-augmented checkpoint substantially outperforms its matched Baseline on a locked evaluation. Yet the method-level result reverses this impression: none of five preregistered replication seeds is positive, the pooled ten-seed interval includes zero, and across-iteration effects repeatedly change sign without a common late-stage advantage. These results identify a predictive--optimization gap: under the studied learner, a signal can describe outcome-relevant progress while failing to provide a reliably beneficial optimization direction.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Replication (statistics), Computer science, Predictive value, Outcome (game theory), Baseline (sea), SIGNAL (programming language)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange