Newest papers

Unintended Side Effects of Value Training in LLMs

Siddhesh Pawar, Chen Cecilia Liu, Anna Korhonen, Isabelle Augenstein · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29922 · cited by 0 works (OpenAlex) · open-access PDF

Hindi

जैसा कि एलएलएम को मूल्य-संवेदनशील संदर्भों में तेजी से तैनात किया जाता है, मानवीय मूल्यों के साथ उन्हें समायोजित करना एनएलपी में एक प्रशिक्षण के बाद उद्देश्य के रूप में उभर रहा है, जो अतिरिक्त मूल्यों को जन्म देने और मॉडल व्यवहार को मार्गदर्शन करने के उद्देश्य से है। हालांकि, वर्तमान मूल्यांकन संकीर्ण रहते हैं। क्योंकि मूल्यों को पारस्परिक रूप से जुड़ा हुआ है, यह स्पष्ट नहीं है कि विशिष्ट मूल्यों के लिए अच्छी तरह से समायोजित करना संबंधित क्षमताओं और व्यवहारों को कैसे बदलता है। इस काम में, हम व्यक्तिगत हॉफस्टेड के मूल्य आयामों के माध्यम से चार निर्देश-आधारित एलएलएम को अनुकूलित करते हैं और उन्हें क्रॉसवर्क हस्तांतरण और व्यापक व्यवहार

Machine translation (Meta M2M100); the English original follows.

Abstract

As LLMs are increasingly deployed in value-sensitive contexts, aligning them with human values has emerged as a post-training objective in NLP, aimed at instilling additional values and guiding model behaviour. However, current evaluations remain narrow. Because values are interconnected, it is unclear how fine-tuning for specific values alters unrelated capabilities and behaviours. In this work, we adapt four instruction-tuned LLMs across individual Hofstede's value dimensions and evaluate them on both cross-value transfer and broader behaviours. We find that value-specific training produces unintended side effects on untrained values, risk preferences, social cognition, and safety traits. Consequently, we suggest that value alignment after post-training should incorporate broader behavioral evaluations, and we highlight the need to investigate where additional value training might best fit into the pipeline.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Unintended consequences, Value (mathematics), Training (meteorology), Psychology, Economics, Public economics

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange