Newest papers

Investigating the Impact of Learner Errors on Social Bias in Large Language Models

Federico Marcuzzi, Martin Christoph, Iryna Gurevych, Alla Rozovskays · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29896 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các tiêu chuẩn phân biệt đối xử xã hội hiện có đánh giá các mô hình ngôn ngữ lớn chủ yếu trên tiếng Anh lỏng lẻo, được hình thành tốt, phản ánh việc sử dụng người bản xứ và để các nhà văn không phải là người bản xứ không được đại diện. Để giải quyết khoảng cách này, chúng tôi điều tra làm thế nào các lỗi ngữ pháp của các nhà văn không phải là người bản xứ ảnh hưởng đến sự phân biệt đối xử xã hội. Chúng tôi phát triển một khuôn khổ được kiểm soát mà tiêm lỗi người học phổ biến vào lời nhắc và áp dụng nó cho ba tiêu chuẩn phân biệt đối xử bao gồm sự sắp xếp khuôn mẫu và sở thích nhân khẩu học trên giới tính, chủng tộc và tôn giáo. Chúng tôi thấy rằng các lỗi ngữ pháp làm tăng sự phân biệt đối xử, và hiệu ứng tăng lên với tỷ lệ lỗi. Trong số bốn loại lỗi phổ biến chúng tôi xem xét, lỗi

Machine translation (Meta M2M100); the English original follows.

Abstract

Existing social bias benchmarks evaluate large language models mostly on fluent, well-formed English, reflecting native speaker usage and leaving non-native writers unrepresented. To address this gap, we investigate how grammatical errors by non-native writers affect social bias. We develop a controlled framework that injects common learner errors into prompts and apply it to three bias benchmarks covering stereotype alignment and demographic preference across gender, race, and religion. We find that grammatical errors increase bias, and the effect grows with the error rate. Among the four common error types we consider, preposition errors produce the largest and most consistent increase in stereotype alignment. Our analysis suggests that errors increase bias when they are more likely to interfere with comprehension. Finally, fine-tuning on erroneous texts reduces the bias increase caused by grammatical errors. Our findings show that bias evaluations based exclusively on well-formed prompts may underestimate the bias experienced by users whose English contains grammatical errors.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Stereotype (UML), Affect (linguistics), Psychology, Preference, Gender bias, Computer science

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange