用 Claude 3.5 Sonnet 刷新 SWE-bench Verified 的标杆

我们最新的升级版 Claude 3.5 Sonnet 在软件工程评测 SWE-bench Verified 上取得 49% 的成绩,超越此前最优模型的 45%。本文介绍我们围绕该模型构建的「智能体」(agent)脚手架:一段简洁提示外加一个 Bash 工具、一个编辑工具,把尽可能多的控制权交给模型自己,并通过工具防错、字符串替换等方式提升可靠性。文章还展示了智能体解决真实问题的完整日志,并剖析了运行 SWE-bench 在耗时、评分、隐藏测试与多模态等方面面临的挑战。