Newest papers

Same Entity, Different Script: Diagnosing Cross-Script Entity Matching Failures in Language Models

Athira Gopal, Patil Prathamesh Pravin, Ankush Kadu, Arpit Jain, Ashwanth Krishnan · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31407 · open-access PDF

Korean

다국어 언어 모델은 동일한 사람들의 이름이 다른 스크립트에 쓰일 때 다른 정체성 판단을 줄 수 있습니다. 우리는 601 개의 검증 된 정체성 쌍을 사용하여 Devanagari 및 라틴어 형식을 사용하여이 효과를 연구하여 질문과 관계를 고정시킵니다. Qwen2.5-7B의 동일한 사람의 정확도는 라틴어에서 35.1%에서 Devanagari에서 8.5%로 떨어지며, 다른 사람의 정확도는 98% 이상 남아 있습니다. 다섯 가지 모델 간의 평가는 구별된 응답 편향을 밝힙니다.

Machine translation (Meta M2M100); the English original follows.

Abstract

Multilingual language models can give different identity judgments when the same people's names are written in different scripts. We study this effect using 601 audited identity pairs with attested Devanagari and Latin forms, holding the question and relation fixed. Qwen2.5-7B's same-person accuracy falls from 35.1% in Latin to 8.5% in Devanagari under Marathi prompts, while different-person accuracy remains above 98%. Evaluation across five models reveals distinct response biases, and reduced tokenization fragmentation does not reliably close the gap. Replicating the design on 374 audited Mal

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange