把语言模型分解为可理解的组件

Anthropic 提出用字典学习把神经网络的神经元激活分解为可解释的「特征」单元,证明特征比单个神经元更适合作为语言模型的分析单元。在小型 transformer 模型中,研究者把含 512 个神经元的一层分解为 4,000 多个特征(如 DNA 序列、法律语言、HTTP 请求等),这些特征更具可解释性、可用于定向引导模型,且在不同模型间具有普遍性,为规模化理解语言模型提供了路径。