衡量语言模型的说服力

Anthropic 开发了一套基础方法,用于衡量语言模型输出论证的说服力,并在 Claude 1、2、3 三代中的紧凑型与前沿型两类模型上进行比较,发现说服力随代际呈清晰上升趋势;最新最强的 Claude 3 Opus 所生成论证的说服力与人类撰写者无统计显著差异。文中详述了研究的方法、局限与伦理考量,并公开了全部实验数据供学界分析。