Newest papers

Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms

Martin Hernandez, Xinyan Qing, Mo Zhou, Yuhua Zhu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28580 · cited by 0 works (OpenAlex) · open-access PDF

Korean

지속적인 시간 강화 데이터 학습은 분리 된 시간에 수집 된 관찰을 사용하여 스토하스틱 차별 방정식에 의해 주도 된 알 수없는 역학 하에서 최적의 정책을 추구합니다. 우리는 분리 된 데이터에서 학습과 엄격한 접근 분석을 결합하는 정책 gradient 프레임 워크를 개발합니다. 우리는 먼저 성능 차이 lemma를 구축하고 무작위 및 파라미터화 된 정책을위한 정책 gradient 수식을 추출합니다. 우리는 그러한 상황에서 알 수없는 역학 하에서 학습을 가능하게하기 위해 PhiBE와이 프레임 워크를 통합합니다. 분리 된 파라미터화 된 업데이트를 위해 우리는 비정확한 전환 데이터에서 지속적인 시간 대체 생성기를 구축합니다. 결과적으로 정책 및 비정규직 모델 연주자

Machine translation (Meta M2M100); the English original follows.

Abstract

Continuous-time reinforcement learning seeks an optimal policy under unknown dynamics driven by stochastic differential equations using observations collected at discrete times. We develop a policy gradient framework that combines rigorous convergence analysis with learning from discrete data. We first establish a performance difference lemma and derive policy gradient formulas for randomized and parametrized policies. We then prove exponential convergence of an entropy-regularized policy flow to the regularized optimum. For discrete parametrized updates, we derive a convergence bound that explicitly separates the contributions of critic error, policy-regression error, and the learning step size. To enable learning under unknown dynamics, we integrate this framework with PhiBE, which constructs a continuous-time surrogate generator from discrete transition data. The resulting on-policy and off-policy model-free actor-critic algorithms preserve the continuous-time structure of the control problem. Numerical experiments on an entropy-regularized linear-quadratic regulator and a nonlinear wheeled robot demonstrate the performance and stability of the proposed methods with both known and data-driven dynamics.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Convergence (economics), Reinforcement learning, Mathematics, Lemma (botany), Stability (learning theory), Discrete time and continuous time

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange