Newest papers

LLMs as survey respondents: Comparison to simple semantic baselines

Esko Lehtonen, Tommi Gröndahl · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29645 · cited by 0 works (OpenAlex) · open-access PDF

Arabic

وقد تم استكشاف نموذج اللغة الكبيرة (LLMs) كخلفية للتحقيق البشري. يعد تطبيقًا أكثر إثارة للاهتمام هو زيادة البيانات، حيث تتوقع LLMs الإجابات الجديدة من البيانات البشرية الجزئية. ومع ذلك، فإن الشبكة السمعية بين عناصر التحقيق هي مصدرًا معروفًا للارتباط بين الإجابات. فمن غير الواضح ما إذا كانت LLMs حقًا تقرر علاقات معقولة بين زوجات الإجابات، أو استخدام مقارنة سطحية بين الأسئلة كخلفية. لتقييم هذا، لقد تم تقييم كيف يمكن أن تقييم ثلاثة LLMs الإجابات على الإجابات على الإجابات المتبقية في دورات التحقيق التي تقييم سلوكًا ضد السيارات الذكية أو الكهربائية الضوئ

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) have been explored as surrogates for human survey respondents. A more promising application is data augmentation, where LLMs predict new responses from partial human data. However, the semantic similarity between questionnaire items is a known source of correlation between answers. It is thus unclear whether LLMs actually infer meaningful relationships between question-response pairs, or use surface-level comparison between questions as a heuristic. To assess this, we evaluated how three LLMs can predict responses to held-out items in two surveys measuring attitudes toward automated or light-electric vehicles, based on varying proportions of known responses. Performance was compared to two baselines, where new responses were derived by maximizing embedding-similarity to a prior response. While LLMs mostly predicted human responses better than baselines, their performance consistently declined with a lower share of known responses, even aligning with the baseline in one survey. Our results show that LLMs' capacities for augmenting replies varied across surveys, and can revert to the same levels as simpler embedding similarity baselines when less data is available.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Similarity (geometry), Baseline (sea), Simple (philosophy), Computer science, Econometrics, Psychology

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange