Newest papers

AfriGuard: Safety and Robust Refusal For African Languages

Israel Abebe Azime, Jesujoba Oluwadara Alabi, Iffat Maab, Alexander D. Cai, Tadesse Destaw Belay, Atnafu Lambebo Tonja, Jonas Kgomo, Folasade Alabi, Salomey Osei, Saminu Muhammad Aliyu, Nkechinyere Faith Aguobi, Bontu Fufa Balcha, Blessing Sibanda, David S. Davis, Mouhamadane Mboup, Daud Olamide Abolade, Neo Putini, Louis Powell, Kiant'e Brantley, Philipp Slusallek · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26474 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình ngôn ngữ lớn (LLM) được thiết kế để tương tác với người dùng thường được đào tạo để đáp ứng thích hợp với nội dung có hại hoặc độc hại. Tuy nhiên, đảm bảo các phản ứng thích hợp trở nên khó khăn hơn trong các bối cảnh ngôn ngữ và văn hóa đa dạng, nơi các rủi ro an toàn có thể được thể hiện hoặc giải thích khác nhau. Xây dựng các hệ thống AI an toàn do đó đòi hỏi phải phát hiện các rủi ro an toàn, hiểu bản chất của chúng và phản ứng thích hợp, trong khi tính toán các biến thể ngôn ngữ và văn hóa đóng cửa làm tăng sự phức tạp cho từng giai đoạn. Trong công việc này, chúng tôi giới thiệu AfriGuard, một tập hợp dữ liệu đa ngôn ngữ dựa trên văn hóa để nghiên cứu ý định có hại, hiểu biết về loại an toàn và hành vi từ chối trên 10 ngôn ngữ châu Phi và tiếng

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) designed to interact with users are typically trained to respond appropriately to harmful or toxic content. However, ensuring appropriate responses becomes more challenging in diverse linguistic and cultural contexts, where safety risks may be expressed or interpreted differently. Building safe AI systems therefore requires detecting safety risks, understanding their nature, and responding appropriately, while accounting for linguistic and cultural variations that add complexity to each stage. In this work, we introduce AfriGuard, a culturally grounded multilingual dataset for studying harmful intent, safety-category understanding, and refusal behavior across 10 African languages and English. Our findings reveal that guardrail models underperform both open- and closed-source LLMs on safety-intent and safety-category classification, while models show limited understanding of appropriate safety behavior, scoring below 60% F1. We further find that models often fail to respond appropriately to unsafe prompts not because they explicitly refuse, but because they produce linguistically inadequate responses that result in incidental non-assistance rather than proper refusals. Finally, using AfriGuard, we develop efficient guardrail models that achieve performance competitive with models up to 30x larger, introduce refusal detectors that improve average performance by 43.9% over existing detectors, and demonstrate that supervised fine-tuning can substantially improve overall safety performance.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Cultural diversity, Risk analysis (engineering), Psychology, Human factors and ergonomics, Risk assessment

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange