Newest papers

Unintended Side Effects of Value Training in LLMs

Siddhesh Pawar, Chen Cecilia Liu, Anna Korhonen, Isabelle Augenstein · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29922 · cited by 0 works (OpenAlex) · open-access PDF

Korean

LLM은 점점 더 가치 감각적 인 맥락에서 배포되면서 인간 가치와 일치시키는 것은 NLP에서 추가 가치와 모델 행동을 안내하는 것을 목표로 한 후 교육 목표로 나타났습니다. 그러나 현재 평가는 좁습니다. 가치가 상호 연결되어 있기 때문에 특정 가치에 대한 미묘한 조정이 관련이없는 능력과 행동을 변화시키는 방법은 명확하지 않습니다. 이 작업에서 우리는 개별 Hofstede의 가치 차원에 걸쳐 4 개의 지침 조정 LLM을 조정하고 크로스 가치 전송과 더 넓은 행동 모두에 그들을 평가합니다. 우리는 가치 특정 교육이 훈련되지 않은 가치, 위험 선호, 인식 및 안전 특성에 대한 의도되지 않은 부작용을 일으키는 것을 발견합니다.

Machine translation (Meta M2M100); the English original follows.

Abstract

As LLMs are increasingly deployed in value-sensitive contexts, aligning them with human values has emerged as a post-training objective in NLP, aimed at instilling additional values and guiding model behaviour. However, current evaluations remain narrow. Because values are interconnected, it is unclear how fine-tuning for specific values alters unrelated capabilities and behaviours. In this work, we adapt four instruction-tuned LLMs across individual Hofstede's value dimensions and evaluate them on both cross-value transfer and broader behaviours. We find that value-specific training produces unintended side effects on untrained values, risk preferences, social cognition, and safety traits. Consequently, we suggest that value alignment after post-training should incorporate broader behavioral evaluations, and we highlight the need to investigate where additional value training might best fit into the pipeline.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Unintended consequences, Value (mathematics), Training (meteorology), Psychology, Economics, Public economics

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange