自动化研究者能够可靠地缓解对齐失败

在 AI 开始自我构建的时代,自动化对齐研究对安全研究跟上步伐日益重要。Anthropic 让 Claude 自主训练模型,针对衡量 10 类对齐失败的多个公开基准逐一改进——如用 ConfAIde 等衡量的隐私违规。对全部 10 类失败,Claude 都找到了在不削弱能力的前提下改进目标基准的修复方案,最佳方法在留出基准与 Petri 上同样有效,并能在比研究循环中优化的模型大 4.7 倍的模型上保持有效。Claude 表现甚至超过了 28 名人类安全研究者,并成功对齐了生产级模型检查点。