Newest papers

The Development of Sycophancy in Language Models: Tracing Vulnerabilities from Pretraining to Post-Training

Haonan Huang, Chengkun Cai · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26655 · open-access PDF

Japanese

言語モデルは、新たな証拠なしに、ユーザーの意見やパスバックを満たすためにコミットした回答を変更することができるが、この行動がトレーニング中に発展し、リリースされたモデルが以前の段階から何を継承しているかは不明確である。我々は、初期のプレトレーニングからリリースされたモデルまで、30のオープンモデルラインの741のチェックポイントを追跡する。我々は、道徳的なシナリオについて初期の判断を植え、モデルがユーザーの述べた意見にどのように従うか、または圧力の下でその判断を放棄するかを測定する。

Machine translation (Meta M2M100); the English original follows.

Abstract

Language models can change a committed answer to accommodate a user's opinion or pushback without new evidence. However, when this behaviour develops during training and what a released model inherits from earlier stages remain unclear. We follow 741 checkpoints of 30 open model lineages, from early pretraining to released models. We plant initial verdicts on moral scenarios and measure how far a model follows a user's stated opinion or abandons its verdict under pressure. In most lineages the behaviour is present before post-training, and its average strength changes in either direction, at d

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange