用 Agent Toolkit for AWS 分布式 KV 缓存技能降低自托管 LLM 成本与延迟
Agent Toolkit for AWS 分布式 KV 缓存技能可在编码智能体中评估并配置 Amazon ElastiCache,使自托管 LLM 推理成本最多降低 40%、TTFT 最多缩短 80%。技能通过 KVTrace 免费估算收益,兼容支持 Agent Skills 的编码智能体。
Agent Toolkit for AWS 分布式 KV 缓存技能可在编码智能体中评估并配置 Amazon ElastiCache,使自托管 LLM 推理成本最多降低 40%、TTFT 最多缩短 80%。技能通过 KVTrace 免费估算收益,兼容支持 Agent Skills 的编码智能体。
Amazon SageMaker HyperPod Slurm 推出托管集群扩展,首批覆盖可观测性和用户管理,可通过 API 或 Amazon SageMaker AI 控制台安装、配置、更新和删除。HyperPod 会预先校验配置并持续同步至新增或替换节点,同时报告状态和逐节点健康问题;该功能自 2026 年 11 月起在 HyperPod 支持区域提供,不额外收费。
Google 在 Gemini platform 开放 Semantic governance policies Preview,可在 AI 智能体执行工具调用前检查调用是否符合用户原始意图和自然语言政策。
OpenAI SageMaker HyperPod 推出 Global Inference Gateway,通过单个托管端点在同一区域或跨区域的多个 HyperPod 集群间路由推理请求,并自动执行故障转移。
Google 给出 Gemini Enterprise 连接内部 Cloud Run MCP 服务器的安全方案。架构结合 Egress Agent Gateway、PSC、限定 FQDN 的 Private Cloud DNS,并以 Cloud Run IAM、OAuth 2.0 分别验证服务和用户。
Thinking Machines Lab 发布面向本地部署的多模态 MoE 模型 Inkling 2 Mini,约有 26B 物理总参数、每个 token 激活 3B 参数,支持 1M-token 上下文及图文输入。
推荐理由:文章拆解循环层与跨轮消息机制,并给出多套本地推理路径,便于比较模型容量、速度和显存之间的取舍。
Google Agent Anomaly Detection 现处于 Private Preview,并支持监控运行在 Google Cloud 之外的智能体。
Google 讲解 Gemini Enterprise 自定义 UI 如何处理用户、连接器与 ADK 智能体认证。用户应用可经 Google Identity 或 Workforce Identity Federation 接入,后端机器人可经 Workload Identity Federation 无密钥认证。
AWS 介绍如何使用 Kimi Code CLI v2.7.0 的原生 bedrock provider,通过标准 AWS 凭证链连接并调用 Amazon Bedrock 上的模型,无需单独管理 Amazon Bedrock API key。示例以 Kimi K3.1 Pro Highspeed 为模型,涵盖命名配置文件与 SSO、IAM 权限、Region 设置、模型能力声明和完整链路测试。
AWS 回顾 Amazon SageMaker Inference 在 2026 年的后续更新,覆盖配置推荐、GPU 分区、多节点模型服务、跨区域路由和上线后的持续调优。
BMW Group 介绍了其研发部门治理数百个智能体的方法,该部门有超过 12,500 名开发者,维护约 500 million 行车辆软件代码。治理规则通过 MCP 网关、中央注册表和编排边界外置,并按工作流步骤设置三级自治权限,由 CI/CD 以确定性检查阻止不合规部署。其架构将 MCP 工具、技能和流程分为三层,并通过持续验证、评估、可观测性和基础设施即代码支持复用与规模化运营。
NVIDIA 与 Microsoft 扩大全栈合作,新增和扩展 Azure、Microsoft Foundry、Azure Local 与 Windows PC 上的加速计算及 AI 部署选项。
NVIDIA 展示了开发者如何结合 GPT-6 Astra、GPT-6 Sol、Claude Code 等模型或工具与 Omniverse 库,通过自然语言指导和人工复核构建仿真应用。案例覆盖工业数字孪生、机器人抓取与装配、VR、仓库和自动驾驶测试,并强调让智能体检查渲染与日志,再由开发者直接验证物理行为和交互体验。
Accenture 给出一套在 Amazon Bedrock 上优化 AI token 成本的分阶段方法,先建立团队、工作负载和智能体级成本归因,再依次应用六类优化杠杆。
Skyflow 与 Amazon Bedrock AgentCore Gateway 通过请求和响应拦截器,阻止敏感数据进入 AI 智能体调用的工具及工具返回的模型上下文。
Google 介绍了 MaxText 中 Streaming DiLoCo 的跨数据中心 LLM 训练机制,通过分片并错峰同步模型参数,减少 DCN 或 WAN 上的通信停顿。
OpenAI 介绍了 Performance Factory 如何帮助 ChatGPT 保持高速运行。该系统由一组 Codex 驱动的工作流组成,用于发现并修复性能问题。
PolyAI Dialog-RSN-1 现已登陆 AWS Marketplace 和 Amazon SageMaker JumpStart,可部署为用户 AWS 账户内的 SageMaker 实时推理端点。
Google 介绍如何用 Tunix 在单台 Cloud TPU v6e-8 主机上对 Gemma 4 E2B 进行多轮工具调用强化学习训练。该模型在 Plane Strike 留出棋盘上的初始胜率为 9.4%,经过 100 步 agentic GRPO 后达到 95%,平均游戏长度从 22.44 次攻击降至约 16 次。
AWS 为 Amazon SageMaker HyperPod 推出增强型基础设施可观测性,用于更快诊断 GPU 训练问题。该功能支持 Amazon EKS 和 Slurm,通过 GPU 离群检测与静态规则定位硬件故障、EFA 吞吐下降、节流和过热。
Muru Bhaskaran 等人演示如何在 Amazon EKS 上构建自定义 AL2023 镜像,并配置 NVIDIA Run:ai GPU Fractioning 实现 Pod 级 GPU 显存共享。
Exa 通过优化 AWS Inferentia2 和 Trainium2 上的嵌入推理,将吞吐量提高约 1.5×,用于支撑数十亿文档索引。优化包括权重布局、autocast、NKI 内核、融合 SwiGLU MLP,以及按模型形状重写注意力内核,并以 0.999 余弦相似度作为正确性门槛。最终版本相较初始基线,在性能及每嵌入 100 万份文档的成本方面改善 47%。
Amazon SageMaker HyperPod 推出工作负载恢复与扩展基础设施检查,用于更早发现训练数值异常、Kubernetes 集群故障和 Slurm 作业停滞。
AWS 在 Amazon SageMaker Studio 中推出 Amazon SageMaker JumpStart Model Leaderboard,可并排比较 JumpStart 模型的质量、速度和成本。
AWS 展示如何将八个负责任 AI 维度映射到 Amazon Aurora PostgreSQL,并以 RAG 客服聊天机器人深入讲解可解释性设计。方案使用 Aurora ML 和 pgvector 生成、存储嵌入向量,通过 Row-Level Security 隔离租户,并用 Amazon Bedrock Guardrails 检查隐私与上下文依据。
Amazon Bedrock AgentCore Identity 新增对私有 CA 证书的支持,使 AI 智能体可连接并信任组织私有网络中的自托管 IdP。用户可将 PEM 编码的根或中间 CA 证书存入 AWS Secrets Manager 或 Amazon S3,并由凭证提供商引用;该功能要求使用 Amazon VPC Lattice。教程还介绍了 CA 轮换、到期监控和写权限保护方法。
Salesforce 通过 Amazon SageMaker AI 跨区域推理路由,将 30+ 个全球 Region、数百个 AWS 账户中的既有端点接入统一调用路径,同时满足数据驻留要求。
推荐理由:Salesforce 的接入与压测数据展示了如何用托管路由缓解跨区域容量碎片,同时满足数据驻留要求并控制故障回切。
Social Department 与 AWS 等合作构建文化感知的视频发现系统 QuickSearch,将营销人员难以表述的判断转化为 Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align 四类单操作检索。
AWS 给出一种架构模式,让 Amazon Bedrock AgentCore Gateway 通过中心辐射型网络访问私有 REST API 和 MCP 服务器,并使跨 VPC 的请求与响应经过中央防火墙。
Dharma-AI 基于 272 次 H200 生产环境 SFT 任务发现,FLOP 基线的 R² 为 0.31、MAE 为 12.41 h,而使用任务派发前信息的 CatBoost 达到 R² 0.98、MAE 1.71 h,中位绝对误差为 0.51 h。
AWS Quick DC 用户组聚会展示了企业如何以可信、受治理的数据为基础,将静态报表转向 AI 分析与智能体工作流。AWS Quick 整合自然语言交互、多步任务编排及 Salesforce、Slack 等第三方连接器。全体参与者在 50 分钟内发布自定义应用,另有 6 人构建了事件触发的 AWS Quick Flows。
OpenAI 介绍 Codex 如何在用户的机器上运行命令,同时在 macOS、Linux 和 Windows 上执行用户控制的文件系统与网络限制。
OpenAI 使用 GPT‑6 Astra 优化了 Jalapeño 芯片采用的电路,并改进 RISC‑V 核心设计。这些成果显示,AI 辅助芯片设计取得了进展。
作者在配备 32 GB 统一内存的 MacBook M5 上,用 Transformers 从 SSD 流式加载 180B 参数 Qwen3.8-Flash-Next 的 MoE 专家,使短解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。
推荐理由:该实验给出低内存设备运行大型 MoE 的可迁移路径,细化了专家流式读取、有界缓存与 Metal 内核各自解决的瓶颈。
IBM 时间序列基础模型现已作为内置函数原生运行在 Confluent Cloud 和本地 Confluent Platform for Apache Flink,可在 CPU 上通过 SQL 执行预测、异常检测和语义智能,无需 GPU。文章还展示了 TTM、PatchTST-FM 和 TSPulse 在生产优化、库存规划、支付风控、交易量预测与相似模式搜索等场景中的用法。
ASUS、Dell 和 MSI 的 NVIDIA RTX Spark 紧凑型桌面电脑现已开售,可在专用 Windows PC 上运行本地 AI 智能体、图像与视频生成及模型微调。
推荐理由:材料将硬件规格、可运行模型规模与本地工作流放在一起,便于判断专用紧凑型桌面电脑是否适合常驻智能体和创作任务。
OpenAI SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,可部署多节点、预填充与解码解耦及 KV 感知路由的 LLM 推理服务。
OpenAI SageMaker AI 实时端点现支持 KV cache 感知路由,可依据模型容器上报的缓存状态和实例负载,将请求发送到持有最长匹配缓存的实例。
推荐理由:基于容器上报的实际缓存状态而非固定前缀推断,可为长上下文与多轮对话选择缓存匹配更长且负载较低的实例。
AWS 介绍一种生成式 AI 工作流降本方法,将可验证规则交给确定性代码,固定选项交给受限决策调用,开放式任务交给满足要求的适配规模 Amazon Bedrock 模型。
AWS 讲解如何通过 Amazon Bedrock AgentCore Gateway,为 Snowflake Cortex AI 的 MCP 调用配置三种 OAuth 模式。