Newest papers

Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms

Martin Hernandez, Xinyan Qing, Mo Zhou, Yuhua Zhu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28580 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Học tập tăng cường dữ liệu liên tục tìm kiếm một chính sách tối ưu dưới động lực chưa biết được thúc đẩy bởi các phương trình khác biệt ngẫu nhiên bằng cách sử dụng các quan sát được thu thập tại thời điểm rời rạc. Chúng tôi phát triển một khuôn khổ phân cấp chính sách kết hợp phân tích hội tụ nghiêm ngặt với việc học từ dữ liệu rời rạc. Trước tiên chúng tôi thiết lập một lệnh phân biệt hiệu suất và rút ra các công thức phân cấp chính sách cho các chính sách ngẫu nhiên và tham số. Sau đó chúng tôi chứng minh sự hội tụ theo cấp số của một luồng chính sách được quy định bởi entropy đến tối ưu hóa được quy định. Đối với các bản cập nhật tham số rời rạc, chúng tôi rút ra một mối liên kết hội tụ mà rõ ràng tách rời các đóng góp của lỗi quan trọng, lỗi chính sách-trở lại, lỗi chính sách

Machine translation (Meta M2M100); the English original follows.

Abstract

Continuous-time reinforcement learning seeks an optimal policy under unknown dynamics driven by stochastic differential equations using observations collected at discrete times. We develop a policy gradient framework that combines rigorous convergence analysis with learning from discrete data. We first establish a performance difference lemma and derive policy gradient formulas for randomized and parametrized policies. We then prove exponential convergence of an entropy-regularized policy flow to the regularized optimum. For discrete parametrized updates, we derive a convergence bound that explicitly separates the contributions of critic error, policy-regression error, and the learning step size. To enable learning under unknown dynamics, we integrate this framework with PhiBE, which constructs a continuous-time surrogate generator from discrete transition data. The resulting on-policy and off-policy model-free actor-critic algorithms preserve the continuous-time structure of the control problem. Numerical experiments on an entropy-regularized linear-quadratic regulator and a nonlinear wheeled robot demonstrate the performance and stability of the proposed methods with both known and data-driven dynamics.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Convergence (economics), Reinforcement learning, Mathematics, Lemma (botany), Stability (learning theory), Discrete time and continuous time

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange