多示例越狱

Anthropic 报告一种名为「多示例越狱」的攻击:在单条提示中放入大量伪造的人机对话示例,即可让 LLM 压过安全训练,对最终的危险请求作答。该攻击随上下文窗口增长按幂律扩展,且对更大的模型往往更有效。作者说明提前披露的考量与缓解思路,其中基于提示分类改写的方法可把攻击成功率从 61% 降至 2%。