将模型输出追溯到训练数据

本研究把统计学中的影响力函数(influence functions)扩展到多达520亿参数的大语言模型,以自顶向下方式追溯哪些训练序列影响了模型输出。结果发现:模型规模越大,泛化模式越抽象、跨语言影响力越强;模型输出并非简单的记忆拼接,且影响力可定位到特定网络层。