Newest papers

Answering in the User's Variety: Calibrated Accommodation Pairs for Post-Training

Zhizhuo Kou, Heming Li, Jian Yang, Junyu Luo, Jingshu Peng, Sirui Han, Yike Guo · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28474 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Люди адаптируются к тому, как они разговаривают с человеком перед ними. Тем не менее, чат-модели, как правило, отвечают на стандартный английский язык независимо от диалекта, используемого пользователем. Единый ответ может скрыть, что обучение относится к этим пользователям одинаково, а аудит выхода не может сказать также. Мы отслеживаем, как на каждом этапе после тренировки, от контролируемого тонкого настройки (SFT) до оптимизации предпочтений (DPO) и усиления обучения, меняет тенденцию модели соответствовать пользователю, и читать, что каждое обновление предпочитает от двух соответствующих содержанию ответов, один соответствует пользователю и один нет. На протяжении 10 открытых модельных линий, пост-тренинг стандартизирует ответ на каждый неформальный запрос,

Machine translation (Meta M2M100); the English original follows.

Abstract

People adapt how they talk to the person in front of them. However, chat models tend to respond in Standard English regardless of the dialect used by the user. A uniform answer can hide whether training treats these users alike, and output audits cannot tell as well. We trace how each post-training stage, from supervised fine-tuning (SFT) to preference optimization (DPO) and reinforcement learning, changes a model's tendency to match the user, and read what each update prefers from two content-matched replies, one matching the user and one not. Across 10 open model lineages, post-training standardizes replies to every informal cue, yet after adjusting for how likely each reply already was, the DPO update still favours matching British and Australian spelling over AAE and Singlish on 10 lineages, and models still produce AAE features when asked. We then introduce calibrated accommodation pairs (CAP), preference data that reward matching users' dialect density while preserving Standard English for Standard-English users. On a fully open model, CAP raises convergence on features it was not trained on without a detectable increase in dialect for Standard-English users or a cost in instruction following. In contrast, one-sided pairs reach a similar gain only by overshooting the user and imposing dialect. Our findings show that uniform replies can hide selective updates and audits should read the update as well as the output. Code: https://github.com/kouzhizhuo/cap-accommodation.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Matching (statistics), Preference, Computer science, Accommodation, Standard English, Spelling

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange