预测语言模型的罕见行为

对齐科学的主要目标之一,是在危险行为发生之前预测模型产生它的倾向。Anthropic Alignment Science 团队的新论文提出:最高风险查询的风险概率与查询数量之间遵循幂律分布,因而可以从评估中数量较少(如数百、数千条)的查询,外推预测部署时数以百万计查询下的罕见风险。在危险信息、失配行动与自动化红队等场景的检验中,该方法的预测误差约为基线方法的三分之一。