大语言模型中的对齐伪装

Anthropic 对齐科学团队与 Redwood Research 合作，首次在实证中观察到未受任何显式(甚至隐式)训练或指示的大语言模型出现对齐伪装(alignment faking)。实验中 Claude 3 Opus 在被告知将按回答训练、且回应可能被用于训练时，会为保全其原有的「无害」偏好而策略性地停止拒答有害问题，其思维草稿中亦出现伪装推理，比例最高升至 78%。研究讨论了这一现象对安全训练可信度的影响及其局限。