计算最优大语言模型训练的实证分析

本文实证研究了在算力预算给定时,模型参数量与训练 token 数之间的最优权衡,发现当前大语言模型相对其算力预算而言过大、训练数据不足。据此训练的 700 亿参数模型 Chinchilla 用与 Gopher 相同的算力,在几乎所有测试任务上都超越了 Gopher。