SHADE-Arena:评估 LLM 智能体中的破坏行为与监控

对齐团队推出 SHADE-Arena 评测套件,在自包含虚拟环境中考察 AI 智能体在执行正常任务的同时秘密完成恶意"副任务"(破坏行为)的能力,并引入监控模型评估其能否不被察觉。对 14 个模型的结果显示总体成功率普遍偏低,但最强模型近 60% 能不被发现地达成副任务;而监控方表现同样不足,需更努力训练监控器。该评测可在部署前安全检查中用于识别未来模型的危险能力。