Newest papers

Unintended Side Effects of Value Training in LLMs

Siddhesh Pawar, Chen Cecilia Liu, Anna Korhonen, Isabelle Augenstein · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29922 · cited by 0 works (OpenAlex) · open-access PDF

French

Comme les LLMs sont de plus en plus déployés dans des contextes sensibles à la valeur, l'alignement avec les valeurs humaines est apparu comme un objectif post-entraînement en NLP, visant à instiller des valeurs supplémentaires et à guider le comportement du modèle. Cependant, les évaluations actuelles restent étroites. Parce que les valeurs sont interconnectées, il n'est pas clair comment l'ajustement des valeurs spécifiques modifie les capacités et les comportements non liés. Dans ce travail, nous adaptons quatre LLMs axés sur l'instruction à travers les dimensions de valeur individuelles de Hofstede et les évaluons à la fois sur le transfert de valeurs croisées et sur les comportements plus larges. Nous constatons que la formation spéci

Machine translation (Meta M2M100); the English original follows.

Abstract

As LLMs are increasingly deployed in value-sensitive contexts, aligning them with human values has emerged as a post-training objective in NLP, aimed at instilling additional values and guiding model behaviour. However, current evaluations remain narrow. Because values are interconnected, it is unclear how fine-tuning for specific values alters unrelated capabilities and behaviours. In this work, we adapt four instruction-tuned LLMs across individual Hofstede's value dimensions and evaluate them on both cross-value transfer and broader behaviours. We find that value-specific training produces unintended side effects on untrained values, risk preferences, social cognition, and safety traits. Consequently, we suggest that value alignment after post-training should incorporate broader behavioral evaluations, and we highlight the need to investigate where additional value training might best fit into the pipeline.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Unintended consequences, Value (mathematics), Training (meteorology), Psychology, Economics, Public economics

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange