Newest papers

Next Best Action: Causal Constrained Offline RL for Business Action Targeting

Surya Ramachandiran, Yiming Li, Juan Mancilla-Caceres, Tao Ye, Jun Liu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26817 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Tiếp theo là hệ thống hành động tốt nhất (NBA) hệ thống mục tiêu phải chọn giữa các can thiệp của khách hàng (ví dụ, giảm giá, khuyến mãi và hành động vòng đời), tối đa hóa giá trị kinh tế dài hạn, đáp ứng các hạn chế hoạt động phức tạp, và vẫn còn dựa trên nguyên nhân. Các phương pháp tiếp cận hiện có thiếu một khuôn khổ nghiêm ngặt để đáp ứng các yêu cầu này cùng nhau. Chúng tôi giải quyết khoảng cách này bằng cách xây dựng NBA như là một Quy trình Quyết định Markov bị hạn chế (CMDP). Hơn nữa, công thức chính sách LP đưa ra giá bóng râm để định lượng các thỏa thuận kinh tế của các hạn chế hoạt động cơ bản của khách hàng (ví dụ, công bằng và phúc lợi của người dùng), cải thiện khả năng giải thích chính sách. Chúng tôi tối ưu hóa các hành động can thiệp dựa trên các trạng thái

Machine translation (Meta M2M100); the English original follows.

Abstract

Next Best Action (NBA) systems must select among customer interventions (e.g., discounts, promotions, and lifecycle actions), maximize long-term economic value, satisfy complex operational constraints, and remain causally grounded. Existing approaches lack a rigorous framework for meeting these requirements jointly. We address this gap by formulating NBA as a Constrained Markov Decision Process (CMDP). We then integrate off-policy causal correction of the estimated customer dynamics directly into the Linear Programming (LP) formulation of the CMDP. The resulting policy selects actions based on customer states to maximize long-term value while explicitly enforcing business guardrails. Furthermore, the LP formulation yields shadow prices that quantify the economic trade-offs of operational constraints (e.g., fairness and user welfare), enhancing policy interpretability. We validate our proposed offline Reinforcement Learning (RL) framework on an industry case study involving rideshare coupon targeting, where customer states are defined by Recency, Frequency, and Monetary (RFM) stages. We evaluate performance using model-based off-policy evaluation, with causal dynamics estimated from a temporal holdout. Under the observed coupon budget and RFM state representation, our optimized policy improves customer lifetime value (LTV) by 19% over the estimated behavior policy and 8% over a myopic baseline. Although the demonstrated action space is binary, the proposed framework is action-agnostic, yielding a general-purpose decision module for targeting systems that manage multiple interventions.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Markov decision process, Computer science, Reinforcement learning, Markov process, State space, Operations research

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange