跳到正文
Google Developers Blog·· 13 天前精选AI 评分66

Google 宣布 MaxText v0.2.4 支持基于上下文并行的长上下文 TPU 训练

Announcing Long-Context Training on TPUs with MaxText Context Parallelism

AI 导读

Google 宣布开源 JAX 训练框架 MaxText 支持在 Cloud TPU 上进行长上下文训练,提供 All-gather、A2A、P2P 和 USP 四种 Context Parallelism 策略。

推荐理由

文章系统比较了 All-gather、Ulysses、Ring Attention 和 USP 的内存、通信与扩展取舍,并给出不同上下文长度下选择 MaxText 策略的实践依据。

来源:Google Developers Blog · developers.googleblog.com