Google Developers Blog·· 13 天前精选AI 评分66
Google 宣布 MaxText v0.2.4 支持基于上下文并行的长上下文 TPU 训练
Announcing Long-Context Training on TPUs with MaxText Context Parallelism
AI 导读
Google 宣布开源 JAX 训练框架 MaxText 支持在 Cloud TPU 上进行长上下文训练,提供 All-gather、A2A、P2P 和 USP 四种 Context Parallelism 策略。
推荐理由
文章系统比较了 All-gather、Ulysses、Ring Attention 和 USP 的内存、通信与扩展取舍,并给出不同上下文长度下选择 MaxText 策略的实践依据。
来源:Google Developers Blog · developers.googleblog.com