Newest papers

Same Judgment, Different Yes: Measuring Multilingual Judgment Profiles in Language Models

Haonan Huang, Yuwei Lu, Chengkun Cai · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28066 · open-access PDF

French

Les évaluations multilingues marquent souvent l'ouverture d'un modèle oui ou non, un jeton qui porte également des conventions de réponse du modèle et de la langue. Nous demandons quand les différentes façons de susciter et de lire une réponse récupèrent le même jugement, et quand elles mesurent une habitude de réponse. Nous recueillons 1,1 million de réponses de huit modèles en six langues sur jusqu'à 105 vignettes morales, variant la forme de la question, la contrainte de la réponse et la lecture de la réponse, jeton ou phrase, dans les deux formulations (la batterie FAR-6).

Machine translation (Meta M2M100); the English original follows.

Abstract

Multilingual evaluations often score a model's opening yes or no, a token that also carries model and language answering conventions. We ask when different ways of eliciting and reading an answer recover the same judgment, and when they measure an answer habit. We collect 1.1 million replies from eight models in six languages on up to 105 moral vignettes, varying the question's form, the answer constraint, and the reading of the reply, token or sentence, in both wordings (the FAR-6 battery). Story-level judgment profiles converge across the tested readouts and question forms, except for the ye

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange