在编码评测中把信号与噪声分开

OpenAI 用数据点分析流水线加人工标注对 SWE-Bench Pro 做了一次详细审计：自动化过滤标记出 286 个可疑任务，代理审查认定 200 个（27.4%）有问题，人类工程师则认定 249 个（34.1%），问题集中在过于严苛的测试、描述不充分的提示、覆盖率不足的测试和误导性提示四类，因此估算约 30% 的任务是坏的，并撤回此前推荐采用该基准的建议。