跳到正文
AWS Machine Learning Blog· Summer Devlin·· 2 天前AI 评分59

Exa 优化 AWS AI 芯片嵌入管线,吞吐量提高约 50%

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

AI 导读

Exa 通过优化 AWS Inferentia2 和 Trainium2 上的嵌入推理,将吞吐量提高约 1.5×,用于支撑数十亿文档索引。优化包括权重布局、autocast、NKI 内核、融合 SwiGLU MLP,以及按模型形状重写注意力内核,并以 0.999 余弦相似度作为正确性门槛。最终版本相较初始基线,在性能及每嵌入 100 万份文档的成本方面改善 47%。

来源:AWS Machine Learning Blog · aws.amazon.com