跳到正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 3 天前精选AI 评分76

OpenAI SageMaker AI 实时端点新增 KV cache 感知路由

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

AI 导读

OpenAI SageMaker AI 实时端点现支持 KV cache 感知路由,可依据模型容器上报的缓存状态和实例负载,将请求发送到持有最长匹配缓存的实例。

推荐理由

基于容器上报的实际缓存状态而非固定前缀推断,可为长上下文与多轮对话选择缓存匹配更长且负载较低的实例。

来源:AWS Machine Learning Blog · aws.amazon.com