跳到正文
AWS Machine Learning Blog· Vinay Arora·· 3 天前AI 评分73

OpenAI SageMaker HyperPod Inference 新增托管 NVIDIA Dynamo 支持

Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

AI 导读

OpenAI SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,可部署多节点、预填充与解码解耦及 KV 感知路由的 LLM 推理服务。

来源:AWS Machine Learning Blog · aws.amazon.com