Newest papers

LLMs as survey respondents: Comparison to simple semantic baselines

Esko Lehtonen, Tommi Buder-Gröndahl · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29645 · open-access PDF

Portuguese

Grandes modelos de linguagem (LLMs) têm sido explorados como substitutos para os entrevistados da pesquisa humana. Uma aplicação mais promissora é a ampliação de dados, onde os LLMs preveem novas respostas a partir de dados humanos parciais. No entanto, a semântica semelhança entre os itens do questionário é uma fonte conhecida de correlação entre respostas. Portanto, não está claro se os LLMs realmente inferem relações significativas entre pares de perguntas e respostas, ou usam a comparação de nível de superfície entre perguntas como um heurístico. Para avaliar isso, avaliamos como três LLMs podem prever respostas para itens mantidos em duas pesquisas medindo atitude

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) have been explored as surrogates for human survey respondents. A more promising application is data augmentation, where LLMs predict new responses from partial human data. However, the semantic similarity between questionnaire items is a known source of correlation between answers. It is thus unclear whether LLMs actually infer meaningful relationships between question-response pairs, or use surface-level comparison between questions as a heuristic. To assess this, we evaluated how three LLMs can predict responses to held-out items in two surveys measuring attitude

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange