Google Developers Blog·· 13 天前精选AI 评分70
Google Cloud 正式开放 Pathways 单控制器训练系统
What is Pathways? Single-controller training for large models
AI 导读
Google 宣布 Pathways 在 Google Cloud Platform 上正式开放,这是其用于训练包括 Gemini 在内大型模型的分布式系统。Pathways 通过单一 Python 客户端描述计算图,运行时负责虚拟设备映射、张量移动与重分片、调度和故障主机重映射。
推荐理由
文章解释了 Pathways 如何用单一客户端和分布式运行时协调跨设备训练,并对比其与 SPMD、Ray 在执行层的差异。
来源:Google Developers Blog · developers.googleblog.com