Newest papers

Unintended Side Effects of Value Training in LLMs

Siddhesh Pawar, Chen Cecilia Liu, Anna Korhonen, Isabelle Augenstein · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29922 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Поскольку LLM все чаще развертываются в ценностно-чувствительных контекстах, их приспособление к человеческим ценностям появилось как цель послеобучения в NLP, направленная на внедрение дополнительных ценностей и руководство поведением модели. Тем не менее, текущие оценки остаются узкими. Поскольку ценности взаимосвязаны, неясно, как тонкая настройка для конкретных ценностей изменяет несвязанные способности и поведение. В этой работе мы адаптируем четыре инструкционно-настроенных LLM по индивидуальным измерениям стоимости Hofstede и оцениваем их как на переносе ценностей, так и на более широком поведении. Мы обнаруживаем, что ценностно-специфическое обучение производит непреднамеренные побочные эффекты на нетренированные ценности

Machine translation (Meta M2M100); the English original follows.

Abstract

As LLMs are increasingly deployed in value-sensitive contexts, aligning them with human values has emerged as a post-training objective in NLP, aimed at instilling additional values and guiding model behaviour. However, current evaluations remain narrow. Because values are interconnected, it is unclear how fine-tuning for specific values alters unrelated capabilities and behaviours. In this work, we adapt four instruction-tuned LLMs across individual Hofstede's value dimensions and evaluate them on both cross-value transfer and broader behaviours. We find that value-specific training produces unintended side effects on untrained values, risk preferences, social cognition, and safety traits. Consequently, we suggest that value alignment after post-training should incorporate broader behavioral evaluations, and we highlight the need to investigate where additional value training might best fit into the pipeline.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Unintended consequences, Value (mathematics), Training (meteorology), Psychology, Economics, Public economics

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange