Newest papers

Effects of Model Scale and Quantization on Social Bias and Abstention in Question Answering

Kuniko Paxton, Ifeoluwa Wuraola, Dhavalkumar Thakker · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29657 · open-access PDF

Vietnamese

Việc triển khai các mô hình ngôn ngữ nhỏ và định lượng trong các thiết lập hạn chế tài nguyên đặt ra một câu hỏi công bằng quan trọng: khi một mô hình nén tạo ra ít phản ứng thiên vị, điều này có phản ánh hành vi công bằng hơn hay không? Chúng tôi nghiên cứu vấn đề này trong Câu hỏi trả lời (QA) bằng cách sử dụng tiêu chuẩn BBQ trên nhiều kích cỡ mô hình và cài đặt định lượng từ Qwen3, Gemma-3 và SmolLM2. Chúng tôi cũng kiểm tra xem liệu các xu hướng quan sát vẫn ổn định trên các công thức yêu cầu thay thế và khi tùy chọn "Không biết" được loại bỏ trong một thiết lập lựa chọn bắt buộc.

Machine translation (Meta M2M100); the English original follows.

Abstract

The deployment of small and quantized language models in resource-constrained settings raises an important fairness question: when a compressed model produces fewer biased responses, does this reflect fairer behavior or greater abstention? We study this problem in Question Answering (QA) using the BBQ benchmark across multiple model sizes and quantization settings from Qwen3, Gemma-3, and SmolLM2. We also examine whether the observed trends remain stable across alternative prompt formulations and when the ``Unknown'' option is removed in a forced-choice setting. Our results show that larger mo

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange