Newest papers

LLMs as survey respondents: Comparison to simple semantic baselines

Esko Lehtonen, Tommi Buder-Gröndahl · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29645 · open-access PDF

Japanese

大規模な言語モデル(LLMs)は、人間のアンケート回答者の代替手段として研究されています。より有望なアプリケーションは、LLMsが部分的な人間のデータから新しい応答を予測するデータ拡大です。しかし、アンケート項目間のセマンティックな類似性は、応答間の関連性の知られている源です。したがって、LLMsが実際に質問と回答のカップルの間の有意義な関係を推測するかどうか、または質問間の表面レベルの比較をエウリスティックとして使用するかどうかは不明です。これを評価するために、我々は、3つのLLMsが、2つのアンケートで態度を測定するために保持された項目に対する応答を予測する方法を評価しました。

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) have been explored as surrogates for human survey respondents. A more promising application is data augmentation, where LLMs predict new responses from partial human data. However, the semantic similarity between questionnaire items is a known source of correlation between answers. It is thus unclear whether LLMs actually infer meaningful relationships between question-response pairs, or use surface-level comparison between questions as a heuristic. To assess this, we evaluated how three LLMs can predict responses to held-out items in two surveys measuring attitude

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange