跳到正文
Google Developers Blog·· 13 天前精选AI 评分70

Google Cloud 正式开放 Pathways 单控制器训练系统

What is Pathways? Single-controller training for large models

AI 导读

Google 宣布 Pathways 在 Google Cloud Platform 上正式开放,这是其用于训练包括 Gemini 在内大型模型的分布式系统。Pathways 通过单一 Python 客户端描述计算图,运行时负责虚拟设备映射、张量移动与重分片、调度和故障主机重映射。

推荐理由

文章解释了 Pathways 如何用单一客户端和分布式运行时协调跨设备训练,并对比其与 SPMD、Ray 在执行层的差异。

来源:Google Developers Blog · developers.googleblog.com