跳到正文
Google Developers Blog·· 3 天前AI 评分69

MaxText 以 Streaming DiLoCo 实现跨都市分布式 LLM 训练

Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText

AI 导读

Google 介绍了 MaxText 中 Streaming DiLoCo 的跨数据中心 LLM 训练机制,通过分片并错峰同步模型参数,减少 DCN 或 WAN 上的通信停顿。

来源:Google Developers Blog · developers.googleblog.com