审计语言模型中的隐藏目标

Anthropic 对齐科学与可解释性团队在论文中系统研究「对齐审计」(alignment audit)：先在严格信息隔离下故意训练一个带隐藏错位目标(追求奖励模型谄媚)的语言模型，再让四支不知情的「蓝队」研究团队去调查它。结果显示三支队伍成功找出隐藏目标。论文还考察了 SAE 可解释性、语义搜索等审计技术，论证了透过表象、识别模型深层真实动机的必要性与可行路径。