AWS Machine Learning Blog· Dustin Liu·· 5 天前AI 评分72
OpenAI Bedrock 为开放权重模型引入显式提示词缓存
Introducing explicit prompt caching with open-weight models on Amazon Bedrock
AI 导读
OpenAI Bedrock 为开放权重模型新增显式提示词缓存,可通过 Chat Completions API 标记可复用前缀,并从响应中读取缓存使用情况。隐式缓存自动复用匹配前缀,显式缓存使用 prompt_cache_options 和 prompt_cache_breakpoint 控制缓存边界;示例还演示了 OpenCode 1.18.35 编码智能体会话中的缓存验证与最佳实践。
来源:AWS Machine Learning Blog · aws.amazon.com