Newest papers

Agent Policy-Value Audit: Separating Transition Composition from Event Selection in Financial LLM Agents

Mingyang, Chen, Yida, Xu, Huiwen, Chen, Yiming Lu, Wei Jin · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.04040 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các đại lý LLM tài chính thường được đánh giá bằng cách so sánh kết quả cuối cùng của họ với kết quả cơ bản và kiểm tra sự khác biệt ghép nối với không. Điều này đo lường xem việc triển khai đại lý thay đổi hiệu suất thực hiện, nhưng nó không cô lập kỹ năng lựa chọn sự kiện. Một đại lý thường xuyên thay đổi vị trí từ phẳng đến dài có thể kiếm được lợi nhuận ghép nối tích cực từ một nhóm sự kiện di chuyển lên ngay cả khi nó chọn các sự kiện ngẫu nhiên. Chúng tôi đề xuất kiểm toán chính sách-giá trị đại lý, trong đó giữ số lượng quan sát được cố định của mỗi loại báo cáo thay đổi hành động được sắp xếp và ngẫu nhiên phân bổ chúng cho các sự kiện đủ điều kiện. Lợi nhuận trung bình từ các tái phân bổ này là điểm chuẩn thành phần; sự khác biệt giữa giá trị triển khai được quan sát và điểm

Machine translation (Meta M2M100); the English original follows.

Abstract

Financial LLM agents are often evaluated by comparing their end-to-end returns with those of a baseline and testing the paired difference against zero. This measures whether deploying the agent changes realized performance, but it does not isolate event-selection skill. An agent that frequently changes positions from flat to long can earn a positive paired return from an upward-drifting event pool even when it selects events at random. We propose the Agent Policy-Value Audit, which holds fixed the observed count of each ordered action-change type and randomly reassigns them across eligible events. The average payoff from these reassignments is the composition benchmark; the difference between observed deployment value and this benchmark is selection value. In semi-synthetic benchmarks based on real earnings-event returns, a zero-centered paired test falsely attributes passive exposure to selection skill in $11.6\%$ of no-skill replications, while the transition-matched audit reduces this rate to $5.3\%$. Applied retrospectively to 723 earnings events at 44 U.S. consumer-facing firms, the audit decomposes the agent's gross deployment value of $+15.2$ bps/event into a $+25.8$ composition benchmark and a $-10.6$ selection value. The agent does not detectably outperform matched random assignments. Financial-agent evaluations should report deployment value separately from event-selection value.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Benchmark (surveying), Stochastic game, Earnings, Selection (genetic algorithm), Audit, Event (particle physics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange