Newest papers

Differentially Private Sparse Reward Estimation with Preference Feedback

Meng Ding, Mingxi Lei, Jie Zhang, Jinyan Liu, Di Wang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.30099 · open-access PDF

Vietnamese

Reinforcement Learning with Human Feedback (RLHF) đã trở thành một mô hình trung tâm để sắp xếp các mô hình ngôn ngữ lớn với các giá trị của con người. Tuy nhiên, sự phụ thuộc vào dữ liệu sở thích nhạy cảm đòi hỏi sự bảo mật khác biệt nghiêm ngặt (DP) để ngăn chặn rò rỉ thông tin người dùng. Các phương pháp sắp xếp tư nhân hiện có thường giả định các thông số phần thưởng dày đặc, dẫn đến ranh giới lỗi ước tính có quy mô đa nguyên với môi trường {kích thước mô hình $d$}. Sự phụ thuộc như vậy là cấm trong các mô hình hiện đại {overparameterized} nơi $d$ là lớn. Trong công việc này, chúng tôi nghiên cứu \hemp{Private Sparse RLHF} pr

Machine translation (Meta M2M100); the English original follows.

Abstract

Reinforcement Learning with Human Feedback (RLHF) has become a central paradigm for aligning Large Language Models with human values. However, the reliance on sensitive preference data necessitates rigorous differential privacy (DP) guarantees to prevent user information leakage. Existing private alignment methods typically assume dense reward parameterizations, resulting in estimation error bounds that scale polynomially with the ambient {model size $d$}. Such dependence is prohibitive in modern {overparameterized models} where $d$ is vast. In this work, we study \emph{Private Sparse RLHF} pr

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange