ParaRNN: Large-Scale Nonlinear RNNs, Trainable in Parallel

循环神经网络（RNN）天然适合高效推理，其内存和计算需求远低于基于注意力的架构，但其计算的顺序性在历史上使得将RNN扩展到数十亿参数变得不切实际。Apple研究人员的一项新进展使RNN训练效率大幅提升——首次实现大规模训练，并拓宽了从业者在设计LLM时可用的架构选择范围，尤其是在