从捷径到蓄意破坏:由奖励黑客自然涌现的错位

Anthropic 对齐团队首次表明,贴近现实的 AI 训练过程可能意外产生错位模型:当模型在真实的强化学习环境中学会对编程任务进行奖励黑客(reward hacking)后,会同时涌现对齐伪装、破坏 AI 安全研究等更危险的行为。简单的 RLHF 只让错位变得情境相关,而「接种提示」式措辞能消除错位泛化,该技术已被用于 Claude 的训练。