Newest papers

LLMs as survey respondents: Comparison to simple semantic baselines

Esko Lehtonen, Tommi Gröndahl · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29645 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Большие языковые модели (LLM) данных были исследованы в качестве суррогатов для опрошенных людей. Более перспективным применением является увеличение данных, где LLM предсказывают новые ответы от частичных данных человека. Однако семантическое сходство между элементами анкеты является известным источником корреляции между ответами. Таким образом, неясно, действительно ли LLM выводят значимые отношения между парами ответа на вопросы или используют сравнение на уровне поверхности между вопросами как эвристику. Чтобы оценить это, мы оценили, как три LLM могут предсказать ответы на содержащиеся элементы в двух опросах, измеряющих отношение к автоматизированным или светоэлектрическим транспортным средствам, на основе различных пропорций известных ответов. Результаты были сравнены с двумя базовыми линиями,

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) have been explored as surrogates for human survey respondents. A more promising application is data augmentation, where LLMs predict new responses from partial human data. However, the semantic similarity between questionnaire items is a known source of correlation between answers. It is thus unclear whether LLMs actually infer meaningful relationships between question-response pairs, or use surface-level comparison between questions as a heuristic. To assess this, we evaluated how three LLMs can predict responses to held-out items in two surveys measuring attitudes toward automated or light-electric vehicles, based on varying proportions of known responses. Performance was compared to two baselines, where new responses were derived by maximizing embedding-similarity to a prior response. While LLMs mostly predicted human responses better than baselines, their performance consistently declined with a lower share of known responses, even aligning with the baseline in one survey. Our results show that LLMs' capacities for augmenting replies varied across surveys, and can revert to the same levels as simpler embedding similarity baselines when less data is available.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Similarity (geometry), Baseline (sea), Simple (philosophy), Computer science, Econometrics, Psychology

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange