面向前沿模型的蓄意破坏评估

任何可能存在危害的行业都需要评估。Anthropic Alignment Science 团队在一篇新论文中提出了测试模型蓄意破坏(sabotage)能力的新评估,涵盖四类:人类决策破坏、代码破坏、能力隐藏(sandbagging)与破坏监督。论文在 Claude 3 Opus 与 Claude 3.5 Sonnet 上做了演示:虽观察到当前模型存在低水平的破坏迹象,但作者认为现有缓解措施基本足够;随着 AI 能力提升,需要更真实的评估与更强的缓解,并期待同行使用与改进这些评估。