Newest papers

CulturalRiddles: A Multicultural Benchmark of Riddles

My Chiffon Nguyen, Tianyi Hu, Vinod Anbalagan, Henry Gagnier, Pouya Sadeghi, Farah Abdou, Tidor-Vlad Pricope, Diego F. M. Oliveira, Jocelyn K D'Arcy, Madeline Smith, Oluwaseun A Ajayi, Yusser Al Ghussin, Zena Al-Khalili, Micol Altomare, Shayan Amir, Ahanaf Aziz, Bryan Chen, Ruchira Dhar, Abdellah El Mekki, Rawan Mohammed Elframawy · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29968 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Khi LLM mở rộng phạm vi ngôn ngữ của họ, đánh giá mức độ hiểu biết và đại diện cho các nền văn hóa đa dạng ngày càng trở nên quan trọng. Tuy nhiên, nhiều tiêu chuẩn vẫn là trung tâm tiếng Anh, với phạm vi bảo hiểm văn hóa hạn chế và tập trung vào kiến thức thực tế hơn là ứng dụng của nó trong bối cảnh văn hóa thực tế. Chúng tôi đề xuất CulturalRiddles, một tiêu chuẩn về các câu đố ban đầu, dựa trên văn hóa được tạo ra hoàn toàn bởi con người thông qua một nỗ lực cộng đồng tham gia, bao gồm 62 nền văn hóa (45 quốc gia, 51 ngôn ngữ). Những câu đố này có nguồn gốc sâu sắc trong các nền văn hóa tương ứng của họ và đòi hỏi lý luận hấp dẫn và thành phần, cùng với kiến thức thực tế và xã hội chi tiết, kỹ năng ngôn ngữ và sự hiểu biết về các liên kết cụ thể về văn hóa

Machine translation (Meta M2M100); the English original follows.

Abstract

As LLMs expand their language coverage, evaluating how well they understand and represent diverse cultures becomes increasingly important. However, many benchmarks remain English-centric, with limited cultural coverage and a focus on factual knowledge over its application in real-world cultural contexts. We propose CulturalRiddles, a benchmark of original, culturally grounded riddles created entirely by humans through a participatory community effort, spanning 62 cultures (45 countries, 51 languages). These riddles are deeply rooted in their respective cultures and require abductive and compositional reasoning, alongside detailed factual and social knowledge, language skills, and an understanding of culturally specific associations. We benchmark 28 LLM configurations using both automatic and large-scale human evaluation. Even frontier models achieve at most 22% accuracy in some communities. We publicly release all artifacts alongside an open contribution process to expand the benchmark's linguistic and cultural coverage.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Benchmark (surveying), Sociology, Computer science, Process (computing), Focus (optics), Frontier

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange