Newest papers

Validity Without Ground Truth: What Stated-Preference Economics Offers the Evaluation of Language Models

Daniel Robert Kling Alexander, Catherine Louise Kling · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.10506 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Nhiều câu hỏi bây giờ được đặt ra cho các mô hình ngôn ngữ lớn không có câu trả lời chính xác để ghi bàn chống lại: chính sách nào là giá trị, người dùng nên chọn tùy chọn nào, làm thế nào để cân nhắc các giá trị cạnh tranh. Kinh tế ưu tiên đã phải đối mặt với vấn đề này trong nhiều thập kỷ. Nó phán xét các câu trả lời khảo sát mà không biết giá trị thực, thông qua khuôn khổ của tính hợp lệ và các khái niệm liên quan: nội dung, xây dựng, và tính hợp lệ tiêu chí, độ tin cậy, khả năng tương thích khuyến khích, và hậu quả. Chúng tôi lập luận rằng khuôn khổ này là một phương pháp chung để đánh giá các mô hình ngôn ngữ, và chúng tôi đặt ra những gì mỗi khái niệm có nghĩa là để đánh giá LLM. Chúng tôi chứng minh cách tiếp cận bằng cách sử dụng một nghiên cứu đánh giá kinh tế ưu tiên

Machine translation (Meta M2M100); the English original follows.

Abstract

Many of the questions now put to large language models have no correct answer to score against: what a policy is worth, which option a user should choose, how to weigh competing values. Stated-preference economics has faced this problem for decades. It judges survey responses without knowing the true value, through a framework of validity and related concepts: content, construct, and criterion validity, reliability, incentive compatibility, and consequentiality. We argue that this framework is a general method for evaluating language models, and we set out what each concept means for LLM evaluation. We demonstrate the approach using a published water-quality stated preference economic valuation survey (Vossler et al. 2023) administered to six models. In this economic application, the validity tests take the form of predictions from economic theory: demand should slope down, and willingness to pay should respond to the scope of the good and to income. The tests separate the models sharply. Two older models fail the most basic test at a household income level of \$75,000, and the two newest pass every test of theoretical validity we can score, but diverge on convergent validity. Passing validity tests shows that a model's answers are coherent, not that they are correct.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Valuation (finance), Test (biology), Set (abstract data type), Incentive, Economics, Contingent valuation

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange