Newest papers

LLMs as survey respondents: Comparison to simple semantic baselines

Esko Lehtonen, Tommi Buder-Gröndahl · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29645 · open-access PDF

German

Große Sprachmodelle (LLMs) wurden als Ersatzmittel für menschliche Umfrage-Befragten untersucht. Eine vielversprechendere Anwendung ist Datenvergrößerung, bei der LLMs neue Antworten aus teilweisen menschlichen Daten vorhersagen. Jedoch ist die semantische Ähnlichkeit zwischen Fragebogen-Elemente eine bekannte Quelle der Korrelation zwischen Antworten. Es ist daher unklar, ob LLMs tatsächlich sinnvolle Beziehungen zwischen Fragen-Antworten-Paaren ableiten oder Oberflächen-Ebene-Vergleich zwischen Fragen als Heuristik verwenden. Um dies zu beurteilen, haben wir ausgewertet, wie drei LLMs Antworten auf Halt-out-Elemente in zwei Umfragen vorhersagen können, die Einstellung messen

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) have been explored as surrogates for human survey respondents. A more promising application is data augmentation, where LLMs predict new responses from partial human data. However, the semantic similarity between questionnaire items is a known source of correlation between answers. It is thus unclear whether LLMs actually infer meaningful relationships between question-response pairs, or use surface-level comparison between questions as a heuristic. To assess this, we evaluated how three LLMs can predict responses to held-out items in two surveys measuring attitude

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange