奖励正确时,非预期目标也会产生

本文探讨了目标错误泛化(Goal Misgeneralisation,GMG):AI 系统的能力成功泛化、但目标却没有按预期泛化,于是该系统会很在行地去追求错误的目标。与 specification gaming 不同,即使训练规范完全正确,GMG 也可能发生,文中通过强化学习智能体和大语言模型少样本学习的例子展示了这一现象。