用 Agent Toolkit for AWS 分布式 KV 缓存技能降低自托管 LLM 成本与延迟
Agent Toolkit for AWS 分布式 KV 缓存技能可在编码智能体中评估并配置 Amazon ElastiCache,使自托管 LLM 推理成本最多降低 40%、TTFT 最多缩短 80%。技能通过 KVTrace 免费估算收益,兼容支持 Agent Skills 的编码智能体。
Agent Toolkit for AWS 分布式 KV 缓存技能可在编码智能体中评估并配置 Amazon ElastiCache,使自托管 LLM 推理成本最多降低 40%、TTFT 最多缩短 80%。技能通过 KVTrace 免费估算收益,兼容支持 Agent Skills 的编码智能体。
Google 本周在 Gemini App 的 Tasks 中上线 Duplex,使其可代用户致电商家并处理现实世界请求。其架构先后经历预 LLM 封闭领域模型、生成模型与确定性状态跟踪结合的混合栈,以及完全基于 Gemini 的统一栈。系统针对电话场景处理亚秒级延迟、噪声和会话节奏,并在通话开头披露 AI 身份,允许商家退出自动来电。
推荐理由:文章梳理 Duplex 从封闭领域模型到 Gemini 统一架构的十年演进,并交代实时电话中的低延迟与商户控制设计。
Amazon SageMaker HyperPod Slurm 推出托管集群扩展,首批覆盖可观测性和用户管理,可通过 API 或 Amazon SageMaker AI 控制台安装、配置、更新和删除。HyperPod 会预先校验配置并持续同步至新增或替换节点,同时报告状态和逐节点健康问题;该功能自 2026 年 11 月起在 HyperPod 支持区域提供,不额外收费。
Google 在 Gemini platform 开放 Semantic governance policies Preview,可在 AI 智能体执行工具调用前检查调用是否符合用户原始意图和自然语言政策。
OpenAI SageMaker HyperPod 推出 Global Inference Gateway,通过单个托管端点在同一区域或跨区域的多个 HyperPod 集群间路由推理请求,并自动执行故障转移。
AWS 宣布 Amazon Textract Insights 正式可用,这是 Amazon Textract 的新生成式 AI 功能,可通过新 API 按自然语言定义字段,并从单份文档或混合文档包返回结构化结果。服务可拆分最多 3,000 页的混合文档包,并为每个值提供置信度、来源页和边界框,无需训练模型。
Google Agent Anomaly Detection 现处于 Private Preview,并支持监控运行在 Google Cloud 之外的智能体。
AWS 回顾 Amazon SageMaker Inference 在 2026 年的后续更新,覆盖配置推荐、GPU 分区、多节点模型服务、跨区域路由和上线后的持续调优。
Amazon Bedrock AgentCore payments 新增 AWS Billing 支付选项,智能体可按请求以 USD 购买 AWS Marketplace 上支持 x402 的软件、API、数据和内容,费用计入开发者的 AWS 账单。
推荐理由:文章给出从商品发现、签名报价到支付结算的完整流程,并展示如何用会话预算、卖家白名单和 IAM 权限约束智能体支出。
AWS Quick 借助 Amazon Selling Partner 插件连接实时 Seller Central 数据,让卖家通过对话分析商品、库存和销售情况,并创建业务智能体。
AWS 解析 Amazon Connect Talent 如何以岗位相关问题、自适应追问和基于证据的评分实施结构化 AI 面试,并披露内部研究与独立专家评估结果。
NVIDIA 与 Microsoft 扩大全栈合作,新增和扩展 Azure、Microsoft Foundry、Azure Local 与 Windows PC 上的加速计算及 AI 部署选项。
Amazon Polly 的声音克隆功能现已以受限开放方式正式可用,可用经说话者同意的几分钟录音创建专属声音,并支持英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语。
推荐理由:文章梳理了声音克隆的创建与调用流程,并交代同意确认、加密、水印、权限和删除机制,便于评估生产接入条件。
Google 在 Gemini API 的 Interactions API 中预览推出 Tool Retrieval,可按需加载工具参数 schema。Agent 仍能看到延迟加载工具的名称和描述,仅在需要调用时载入完整 schema,以减少输入 token、延迟及工具增多导致的选择准确率下降。
推荐理由:按需加载工具参数 schema 的设计,为大型 Agent 工具库提供了降低输入 token 并维持选择准确率的实现路径。
PolyAI Dialog-RSN-1 现已登陆 AWS Marketplace 和 Amazon SageMaker JumpStart,可部署为用户 AWS 账户内的 SageMaker 实时推理端点。
AWS 为 Amazon SageMaker HyperPod 推出增强型基础设施可观测性,用于更快诊断 GPU 训练问题。该功能支持 Amazon EKS 和 Slurm,通过 GPU 离群检测与静态规则定位硬件故障、EFA 吞吐下降、节流和过热。
GeForce NOW 推出黑五优惠,Performance 和 Ultimate 六个月会员首期减免 30%,活动持续至 11 月 30 日。服务同时扩展至三款搭载 Vega OS 的 Fire TV Stick,参与地区通过 Amazon 购买会员可在 12 月 31 日前享首月减免 90%。本周还有 9 款游戏加入,其中 5 款 Bethesda 游戏新增 GOG 版本支持。
Amazon SageMaker HyperPod 推出工作负载恢复与扩展基础设施检查,用于更早发现训练数值异常、Kubernetes 集群故障和 Slurm 作业停滞。
AWS 在 Amazon SageMaker Studio 中推出 Amazon SageMaker JumpStart Model Leaderboard,可并排比较 JumpStart 模型的质量、速度和成本。
Amazon Bedrock AgentCore Identity 新增对私有 CA 证书的支持,使 AI 智能体可连接并信任组织私有网络中的自托管 IdP。用户可将 PEM 编码的根或中间 CA 证书存入 AWS Secrets Manager 或 Amazon S3,并由凭证提供商引用;该功能要求使用 Amazon VPC Lattice。教程还介绍了 CA 轮换、到期监控和写权限保护方法。
Salesforce 通过 Amazon SageMaker AI 跨区域推理路由,将 30+ 个全球 Region、数百个 AWS 账户中的既有端点接入统一调用路径,同时满足数据驻留要求。
推荐理由:Salesforce 的接入与压测数据展示了如何用托管路由缓解跨区域容量碎片,同时满足数据驻留要求并控制故障回切。
Google DeepMind 向符合条件的 Google AI Ultra 订阅者开放 Genie 4,并上线新版 Project Genie 体验。Genie 4 支持在探索过程中用提示词实时修改环境,并加入随场景变化的原生音频。此次更新还带来 Project Genie 智能体、社区画廊,以及最长 3 分钟的 Genie 3 单次生成;所有生成视频和音频均含 SynthID 水印。
推荐理由:Genie 4把会话中实时改写世界与原生音频结合,Project Genie智能体和社区画廊也呈现了从生成到分享的完整流程。
OpenAI 介绍 Codex 如何在用户的机器上运行命令,同时在 macOS、Linux 和 Windows 上执行用户控制的文件系统与网络限制。
Google 已将 Gemini app 带到符合条件的 Android(Go edition)设备,并重构应用以在低内存硬件上流畅运行。用户可通过 Gemini Live 使用超过 45 种语言进行语音交流,也可用相机学习和翻译笔记或表单,并通过 Nano Banana 创建自定义图像。
推荐理由:此次适配将 Gemini 的语音、视觉与图像生成能力带到低内存 Android 设备,扩大了个人 AI 助手覆盖的硬件范围。
IBM 时间序列基础模型现已作为内置函数原生运行在 Confluent Cloud 和本地 Confluent Platform for Apache Flink,可在 CPU 上通过 SQL 执行预测、异常检测和语义智能,无需 GPU。文章还展示了 TTM、PatchTST-FM 和 TSPulse 在生产优化、库存规划、支付风控、交易量预测与相似模式搜索等场景中的用法。
ASUS、Dell 和 MSI 的 NVIDIA RTX Spark 紧凑型桌面电脑现已开售,可在专用 Windows PC 上运行本地 AI 智能体、图像与视频生成及模型微调。
推荐理由:材料将硬件规格、可运行模型规模与本地工作流放在一起,便于判断专用紧凑型桌面电脑是否适合常驻智能体和创作任务。
OpenAI SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,可部署多节点、预填充与解码解耦及 KV 感知路由的 LLM 推理服务。
OpenAI 推出 ChatGPT for Sales,并在 ChatGPT 中带来新的 Sales 插件及 30+ 款新增或扩展的合作伙伴插件。用户可用这些插件研究潜在客户、准备销售提案、更新 CRM 并推进交易。
OpenAI SageMaker AI 实时端点现支持 KV cache 感知路由,可依据模型容器上报的缓存状态和实例负载,将请求发送到持有最长匹配缓存的实例。
推荐理由:基于容器上报的实际缓存状态而非固定前缀推断,可为长上下文与多轮对话选择缓存匹配更长且负载较低的实例。
Google AI Studio 现可借助 Gemini 4 Carbon 和 Hydrogen,从单条提示词生成包含数据持久化、用户登录和 AI 功能的 Kotlin Android 应用,并在数分钟内发布到 Google Play。
推荐理由:这套流程串联 Kotlin 代码生成、Firebase 后端配置、模拟器调试和 Google Play 发布,呈现端到端开发方式。
AWS Forward Deployed Engineering(FDE)现已面向 15 个国家的商业及公共部门客户开放,并配备数十种内置的生产就绪型加速器。每个 45-day sprint 采用固定价格并通过客户的 AWS 账户计费,团队直接在客户环境中构建系统。FDE 将生产化难题分为基础、工作流和治理三层,目标是让客户团队能够持续运行和扩展交付成果。
Astra for Law 在覆盖 24 个法律领域的发布评测中排名第一,所有 ChatGPT Enterprise 客户现可申请访问。
AWS 介绍了如何在 Amazon SageMaker JumpStart 部署 OpenTSLM,并借助 TimeNet 将模型适配到自有时间序列数据。OpenTSLM-Flamingo 结合 Gemma 3 4B、时间序列编码器和交叉注意力层,可联合处理数值序列、文本上下文和问题。
Google 今天在 Antigravity 上推出 Robotics 插件,并介绍上周发布的 Gemini 4 Hydrogen 如何用于机器人接入、MuJoCo 仿真和闭环控制。
推荐理由:从硬件接入、MuJoCo 仿真到闭环控制的完整流程,为机器人应用提供了一条可复用的 Real-to-Sim-to-Real 开发路径。
Google 为 Gemini 推出 Task 模式,可代用户打电话、分析账单、购物付款并完成跨应用任务。该更新由新的 Gemini 4 Hydrogen 模型驱动,现面向美国、日本、韩国、加拿大、澳大利亚和印度数亿用户免费推出,高级功能先从美国上线。Gemini 可连接 60 多款应用,并通过隔离虚拟机、提示词注入过滤和关键步骤确认保护任务执行。
推荐理由:从并行致电、账单分析到购物结算,原文呈现了个人智能体跨 Google 与第三方应用完成事务的具体工作流。
NVIDIA 在 SC26 发布科研智能体工具 Nemotron for Science 和 Rubin HPC GPU,并扩展面向高性能计算的 Vera CPU 平台。
NVIDIA 在 SC26 推出并开售 DGX Spark HPC Developer Kit,面向研究人员提供桌面四节点集群,用于运行多节点科学计算、AI 模型和智能体。
推荐理由:四节点桌面集群把多节点科学计算和大模型开发移到本地,可减少共享 GPU 集群排队,并让团队先在本地调试再扩展到数据中心。
OpenAI 正在扩大 ChatGPT for Academic Researchers 计划,向全球 200,000 名研究人员免费提供其前沿模型的访问权限。
Hugging Face 将 Inference Providers 的语言模型请求切换至 OpenRouter,由后者按实时价格、速度和可靠性选择供应商,并在失败时自动重试。
推荐理由:文中同时披露路由实测与开放权重模型的用量、成本对比,可用于评估统一多供应商推理入口的工程收益和取舍。
NVIDIA 在 SC26 发布 Rubin HPC GPU,面向 NVIDIA Vera Rubin 平台,加速科学、工程与分析工作流中的仿真和数据处理。该 GPU 单卡配备超过 50,000 个 CUDA 核心,并加入稀疏数据加速能力和第七代 NVIDIA NVLink 互连技术,预计于 2028 年上市。