Decoupled DiLoCo:迈向韧性分布式 AI 训练的新前沿

Google DeepMind 提出 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分到彼此解耦的计算"孤岛"上并以异步方式通信,从而以更低带宽跨越远程数据中心训练 LLM,并显著增强硬件容错能力。用 Gemma 4 模型的测试表明,其 ML 性能与常规训练持平,同时训练速度比传统同步方法快 20 倍以上。