Newest papers

LLMs as survey respondents: Comparison to simple semantic baselines

Esko Lehtonen, Tommi Buder-Gröndahl · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29645 · open-access PDF

Spanish

Los grandes modelos de lenguaje (LLMs) se han explorado como sustitutos para los encuestados humanos. Una aplicación más prometedora es la ampliación de datos, donde los LLMs predicen nuevas respuestas a partir de datos humanos parciales. Sin embargo, la similitud semántica entre los artículos del cuestionario es una fuente conocida de correlación entre las respuestas. Por lo tanto, no está claro si los LLMs realmente deducen relaciones significativas entre pares de preguntas y respuestas, o usan la comparación a nivel de superficie entre preguntas como un heurístico. Para evaluar esto, evaluamos cómo tres LLMs pueden predecir las respuestas a los artículos detenidos en dos encuestas que miden la actitud

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) have been explored as surrogates for human survey respondents. A more promising application is data augmentation, where LLMs predict new responses from partial human data. However, the semantic similarity between questionnaire items is a known source of correlation between answers. It is thus unclear whether LLMs actually infer meaningful relationships between question-response pairs, or use surface-level comparison between questions as a heuristic. To assess this, we evaluated how three LLMs can predict responses to held-out items in two surveys measuring attitude

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange