Newest papers

Federated Differentially Private Optimization via Low-Rank Preconditioning

Antti Koskela, Tejas Kulkarni, Elias Raninen · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31069 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Chúng tôi xem xét tối ưu hóa riêng biệt (DP) khác biệt trong thiết lập liên kết, nơi ước tính DP của ma trận covariance tính năng phục vụ như một cách tiếp cận Hessian cho các mô hình tuyến tính tổng quát. Các phương pháp DP trung tâm hiện có cho ước tính covariance có chi phí truyền thông tăng lên hình vuông trong kích thước dữ liệu, trong khi các đường cơ sở hiện có với chi phí truyền thông tuyến tính chỉ riêng tư tại địa phương và suy thoái khi số lượng khách hàng tăng lên. Như một biện pháp khắc phục, chúng tôi đề xuất một khung DP-PCA liên kết đạt được chi phí truyền thông tuyến tính trong khi cung cấp bảo đảm DP trung tâm dưới sự tổng hợp an toàn. Nó bao gồm một bước lựa chọn xếp hạng DP, một phương pháp DP năng lượng, và một phát hành ồn ào của covariance được dự đoán trên không gian

Machine translation (Meta M2M100); the English original follows.

Abstract

We consider differentially private (DP) optimization in the federated setting, where a DP estimate of the feature covariance matrix serves as a Hessian approximation for generalized linear models. Existing central DP methods for covariance estimation have communication cost that grows quadratically in the data dimension, while existing baselines with linear communication cost are only locally private and degrade as the number of clients increases. As a remedy, we propose a federated DP-PCA framework that achieves linear communication cost while providing central DP guarantees under secure aggregation. It consists of a DP rank selection step, a DP power method, and a noisy release of the covariance projected onto the selected low-dimensional subspace. We give error bounds for this covariance estimate and for the resulting low-communication preconditioned DP gradient descent. Empirically, our proposed DP optimization method matches a centralized baseline with quadratic communication cost at a fraction of the communication.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Covariance, Hessian matrix, Covariance matrix, Computer science, Mathematical optimization, Estimation of covariance matrices

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange