Newest papers

Deep Pontryagin Learning for Continuous-Time Stochastic Control with Jumps

Jean-Loup Dupret, Patrick Cheridito · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26718 · cited by 0 works (OpenAlex) · open-access PDF

Russian

В отличие от прямой оптимизации политики, которая неоднократно дифференцирует цель через всю дифференцированную динамику времени, наш метод отделяет вспомогательное обучение от улучшения политики, явно включая информацию о чувствительности состояния из принципа стохастического максимума Понтриагина. Для фиксированного контроля Маркова мы сначала вычисляем вспомогательные этикетки путем обратного распространения вознаграждения в течение времени вдоль симулированных траекторий состояния, и проецируем эти этикетки на состояние Маркова через контролируемый шаг регрессии. Контроль затем обновляется путем применения точечного условия стационарности Гамильтона. Мы доказываем, что полученный процесс вспомогательного проекта удовлетворяет дискретным принципам конвергенции Понагини

Machine translation (Meta M2M100); the English original follows.

Abstract

We develop a deep Pontryagin learning framework for high-dimensional continuous-time stochastic control problems that naturally accommodates jump-diffusions. In contrast to direct policy optimization, which repeatedly differentiates the objective through the entire time-discretized dynamics, our method separates adjoint learning from policy improvement by explicitly incorporating state-sensitivity information from the Pontryagin stochastic maximum principle. For a fixed Markov control, we first compute pathwise adjoint labels by backpropagating the reward through time along simulated state trajectories, and project these labels onto the Markov state through a supervised regression step. The control is then updated by enforcing the pointwise Hamiltonian stationarity condition. We prove that the resulting projected adjoint process satisfies a discrete-time Pontryagin principle and converges, as the time step tends to zero, to the solution of the corresponding continuous-time adjoint backward stochastic differential equation. Numerical experiments illustrate the accuracy, stability, and scalability of the approach.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Pointwise, Mathematics, Optimal control, Pontryagin's minimum principle, Markov chain, Markov process

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange