模型评测的统计学方法

Anthropic 指出，当一款 AI 模型在某个基准上胜过另一款模型时，研究者很少追问这种能力差异是真实的、还是源于抽题运气。论文借鉴统计理论与实验设计文献，向 AI 社区提出五条科学报告评测结果的建议：用中心极限定理报告标准误与置信区间、对成组题目做聚类标准误、降低题内方差、使用配对差值分析、以及进行功效分析，旨在让评测数字更精确、更有信息量。