Newest papers

LLMs as survey respondents: Comparison to simple semantic baselines

Esko Lehtonen, Tommi Gröndahl · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29645 · cited by 0 works (OpenAlex) · open-access PDF

Indonesian

Model bahasa besar (LLM) data telah dieksplorasi sebagai pengganti untuk responden survei manusia. Aplikasi yang lebih menjanjikan adalah peningkatan data, di mana LLM memprediksi jawaban baru dari data manusia parsial. Namun, kesamaan semantik antara item kuesioner adalah sumber yang diketahui korelasi antara jawaban. Oleh karena itu tidak jelas apakah LLM benar-benar menyimpulkan hubungan yang berarti antara pasangan jawaban pertanyaan, atau menggunakan perbandingan tingkat permukaan antara pertanyaan sebagai heuristik. Untuk mengevaluasi ini, kami menilai bagaimana tiga LLM dapat memprediksi jawaban untuk item yang ditahan di dua survei yang mengukur sikap terhadap kendaraan otomatis atau listrik ringan, berdasarkan proporsi yang berbeda dari jawaban yang diketahui. Prestasi dibandingkan dengan dua garis dasar, di mana jawaban baru didapat dengan memaksimalkan kesamaan embedding yang sama dengan jawaban sebelumnya. Sementara LLM sebagian besar memprediksi jawaban manusia

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) have been explored as surrogates for human survey respondents. A more promising application is data augmentation, where LLMs predict new responses from partial human data. However, the semantic similarity between questionnaire items is a known source of correlation between answers. It is thus unclear whether LLMs actually infer meaningful relationships between question-response pairs, or use surface-level comparison between questions as a heuristic. To assess this, we evaluated how three LLMs can predict responses to held-out items in two surveys measuring attitudes toward automated or light-electric vehicles, based on varying proportions of known responses. Performance was compared to two baselines, where new responses were derived by maximizing embedding-similarity to a prior response. While LLMs mostly predicted human responses better than baselines, their performance consistently declined with a lower share of known responses, even aligning with the baseline in one survey. Our results show that LLMs' capacities for augmenting replies varied across surveys, and can revert to the same levels as simpler embedding similarity baselines when less data is available.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Similarity (geometry), Baseline (sea), Simple (philosophy), Computer science, Econometrics, Psychology

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange