用 Agent Toolkit for AWS 分布式 KV 缓存技能降低自托管 LLM 成本与延迟
Agent Toolkit for AWS 分布式 KV 缓存技能可在编码智能体中评估并配置 Amazon ElastiCache,使自托管 LLM 推理成本最多降低 40%、TTFT 最多缩短 80%。技能通过 KVTrace 免费估算收益,兼容支持 Agent Skills 的编码智能体。
Agent Toolkit for AWS 分布式 KV 缓存技能可在编码智能体中评估并配置 Amazon ElastiCache,使自托管 LLM 推理成本最多降低 40%、TTFT 最多缩短 80%。技能通过 KVTrace 免费估算收益,兼容支持 Agent Skills 的编码智能体。
Amazon SageMaker HyperPod Slurm 推出托管集群扩展,首批覆盖可观测性和用户管理,可通过 API 或 Amazon SageMaker AI 控制台安装、配置、更新和删除。HyperPod 会预先校验配置并持续同步至新增或替换节点,同时报告状态和逐节点健康问题;该功能自 2026 年 11 月起在 HyperPod 支持区域提供,不额外收费。
Google 在 Gemini platform 开放 Semantic governance policies Preview,可在 AI 智能体执行工具调用前检查调用是否符合用户原始意图和自然语言政策。
OpenAI SageMaker HyperPod 推出 Global Inference Gateway,通过单个托管端点在同一区域或跨区域的多个 HyperPod 集群间路由推理请求,并自动执行故障转移。
形式化验证可通过数学证明和逻辑检查 AI 生成代码的正确性,&Truth、Harmonic、Theorem 和 Axiom Math 正分别推进相关系统。&Truth 基于 Lean 构建验证机器,AxiomProver 和 Aristotle 也利用 Lean 生成或检查证明;Theorem 与 Anthropic 则探索由 LLM 扩大软件形式化验证规模。
Google 给出 Gemini Enterprise 连接内部 Cloud Run MCP 服务器的安全方案。架构结合 Egress Agent Gateway、PSC、限定 FQDN 的 Private Cloud DNS,并以 Cloud Run IAM、OAuth 2.0 分别验证服务和用户。
Thinking Machines Lab 发布面向本地部署的多模态 MoE 模型 Inkling 2 Mini,约有 26B 物理总参数、每个 token 激活 3B 参数,支持 1M-token 上下文及图文输入。
推荐理由:文章拆解循环层与跨轮消息机制,并给出多套本地推理路径,便于比较模型容量、速度和显存之间的取舍。
Google Agent Anomaly Detection 现处于 Private Preview,并支持监控运行在 Google Cloud 之外的智能体。
Google 讲解 Gemini Enterprise 自定义 UI 如何处理用户、连接器与 ADK 智能体认证。用户应用可经 Google Identity 或 Workforce Identity Federation 接入,后端机器人可经 Workload Identity Federation 无密钥认证。
太空数据中心难以沿用以芯片作抵押的债务融资模式,因为贷款违约后,放贷方无法回收并转售安装在轨道卫星上的芯片。Financial Times 称,SpaceX 的 $40 billion 芯片融资交易中,放贷方要求相关芯片不得用于轨道数据中心计划,但尚不清楚 SpaceX 是否接受。
Julien Chaumond 表示,其团队每月通过互联网分发近 1 exabyte 的开放模型和数据集,并因这一流量规模自建 AI 下载 CDN。@hugoch 及其团队还制作了实时地图,展示这些流量的去向。
Hugging Face 转发 Julien Chaumond 的介绍称,其每月通过互联网分发近 1 exabyte 的开放模型和数据集,并因这一规模自建了用于 AI 下载的 CDN。@hugoch 团队还制作了一张展示流量去向的动态地图。
Hermes Agent 新增 Collective Wisdom 功能,可将成功工作流自动转为由描述和代码组成的技能,经审核后供团队共享。企业将能直接在 Microsoft Teams 中运行这款开源智能体,并在同一聊天中检查财务分析、文档起草或收件箱整理等任务的结果。
AWS 介绍如何使用 Kimi Code CLI v2.7.0 的原生 bedrock provider,通过标准 AWS 凭证链连接并调用 Amazon Bedrock 上的模型,无需单独管理 Amazon Bedrock API key。示例以 Kimi K3.1 Pro Highspeed 为模型,涵盖命名配置文件与 SSO、IAM 权限、Region 设置、模型能力声明和完整链路测试。
AWS 回顾 Amazon SageMaker Inference 在 2026 年的后续更新,覆盖配置推荐、GPU 分区、多节点模型服务、跨区域路由和上线后的持续调优。
Nous Research 与 Microsoft 合作,将 Hermes Enterprise 带入企业场景,现已支持 Microsoft Teams、Microsoft Store 和 Azure。
BMW Group 介绍了其研发部门治理数百个智能体的方法,该部门有超过 12,500 名开发者,维护约 500 million 行车辆软件代码。治理规则通过 MCP 网关、中央注册表和编排边界外置,并按工作流步骤设置三级自治权限,由 CI/CD 以确定性检查阻止不合规部署。其架构将 MCP 工具、技能和流程分为三层,并通过持续验证、评估、可观测性和基础设施即代码支持复用与规模化运营。
Nace AI 推出 Drex Router,可为智能体的每一步选择合适的 LLM/SLM 和推理强度,将简单提示分配给价格较低的模型,将复杂提示分配给更强的模型。Nace 的通识问答测试显示,Drex Router 准确率为 87.6%,Jev Router 为 86.4%;1M prompts 的总成本分别为 $100 和 $1,090。试用入口:console.nace.ai
NVIDIA 与 Microsoft 扩大全栈合作,新增和扩展 Azure、Microsoft Foundry、Azure Local 与 Windows PC 上的加速计算及 AI 部署选项。
Kong 发布云平台 Volcano,用于托管 AI 应用与智能体,并集成沙箱、持久化工作流、Postgres、数据库和登录功能。用户可通过 Claude Code、Cursor 或 Codex 构建应用并发布到 Volcano;平台还能发现生产环境中的错误并准备修复,经用户审核批准后应用,智能体也可在崩溃后从备份继续构建。
NVIDIA 展示了开发者如何结合 GPT-6 Astra、GPT-6 Sol、Claude Code 等模型或工具与 Omniverse 库,通过自然语言指导和人工复核构建仿真应用。案例覆盖工业数字孪生、机器人抓取与装配、VR、仓库和自动驾驶测试,并强调让智能体检查渲染与日志,再由开发者直接验证物理行为和交互体验。
Accenture 给出一套在 Amazon Bedrock 上优化 AI token 成本的分阶段方法,先建立团队、工作负载和智能体级成本归因,再依次应用六类优化杠杆。
Airbnb Engineering 在新基准中用单张 NVIDIA RTX Pro 6000 GPU 部署 Gemma 4 E2B 进行策略分类,最高 F1 从 0.563 升至 0.902。
Skyflow 与 Amazon Bedrock AgentCore Gateway 通过请求和响应拦截器,阻止敏感数据进入 AI 智能体调用的工具及工具返回的模型上下文。
Google 介绍了 MaxText 中 Streaming DiLoCo 的跨数据中心 LLM 训练机制,通过分片并错峰同步模型参数,减少 DCN 或 WAN 上的通信停顿。
OpenAI 介绍了 Performance Factory 如何帮助 ChatGPT 保持高速运行。该系统由一组 Codex 驱动的工作流组成,用于发现并修复性能问题。
OpenAI 构建 Performance Factory,让 Codex 在加快 ChatGPT 开发之外,也帮助 ChatGPT 持续保持运行速度。该系统协调 AI 智能体调查性能回退、提出修复方案供工程师审核,并检查修复在生产环境中是否有效。
PolyAI Dialog-RSN-1 现已登陆 AWS Marketplace 和 Amazon SageMaker JumpStart,可部署为用户 AWS 账户内的 SageMaker 实时推理端点。
Google 介绍如何用 Tunix 在单台 Cloud TPU v6e-8 主机上对 Gemma 4 E2B 进行多轮工具调用强化学习训练。该模型在 Plane Strike 留出棋盘上的初始胜率为 9.4%,经过 100 步 agentic GRPO 后达到 95%,平均游戏长度从 22.44 次攻击降至约 16 次。
AWS 为 Amazon SageMaker HyperPod 推出增强型基础设施可观测性,用于更快诊断 GPU 训练问题。该功能支持 Amazon EKS 和 Slurm,通过 GPU 离群检测与静态规则定位硬件故障、EFA 吞吐下降、节流和过热。
Muru Bhaskaran 等人演示如何在 Amazon EKS 上构建自定义 AL2023 镜像,并配置 NVIDIA Run:ai GPU Fractioning 实现 Pod 级 GPU 显存共享。
Kong 上线面向 AI 智能体的自愈型云服务 Volcano。Marco Palladino 称 Kong 每年运行 500 万亿个 AI token,Volcano 提供沙箱、持久化工作流、Postgres 和托管功能。
Exa 通过优化 AWS Inferentia2 和 Trainium2 上的嵌入推理,将吞吐量提高约 1.5×,用于支撑数十亿文档索引。优化包括权重布局、autocast、NKI 内核、融合 SwiGLU MLP,以及按模型形状重写注意力内核,并以 0.999 余弦相似度作为正确性门槛。最终版本相较初始基线,在性能及每嵌入 100 万份文档的成本方面改善 47%。
OpenAI 将 Responses API 后台模式的 2h 与 8h 首次响应目标折扣窗口开放公测,适用于可等待的单轮或多轮工作流。使用 GPT-6.2 Astra 或 GPT-6.2 Sol 时,每 token 成本较 Standard 最多节省 40%。
Netlify 围绕 AI 智能体重新推出平台,重点支持智能体应用开发与托管,并新增 150 个连接器。智能体可自行接入 Notion、Linear、Stripe 等服务,每次代码变更均进入可预览、发布或回滚的版本历史。需要 24/7 在线的实时聊天、多人游戏等应用现在也可在 Netlify 托管后端。
Amazon SageMaker HyperPod 推出工作负载恢复与扩展基础设施检查,用于更早发现训练数值异常、Kubernetes 集群故障和 Slurm 作业停滞。
AWS 在 Amazon SageMaker Studio 中推出 Amazon SageMaker JumpStart Model Leaderboard,可并排比较 JumpStart 模型的质量、速度和成本。
OpenAI 复盘了前沿模型从训练、内部使用到公开发布所需的安全与对齐流程。四层保护包括模型对齐、安全与沙箱、拦截防护、监控与响应;OpenAI 称这是持续训练和部署模型所需的基础运营规范,并不能从根本上解决对齐问题。详情见 openai.com/index/managing-fro…
AWS 展示如何将八个负责任 AI 维度映射到 Amazon Aurora PostgreSQL,并以 RAG 客服聊天机器人深入讲解可解释性设计。方案使用 Aurora ML 和 pgvector 生成、存储嵌入向量,通过 Row-Level Security 隔离租户,并用 Amazon Bedrock Guardrails 检查隐私与上下文依据。
Amazon Bedrock AgentCore Identity 新增对私有 CA 证书的支持,使 AI 智能体可连接并信任组织私有网络中的自托管 IdP。用户可将 PEM 编码的根或中间 CA 证书存入 AWS Secrets Manager 或 Amazon S3,并由凭证提供商引用;该功能要求使用 Amazon VPC Lattice。教程还介绍了 CA 轮换、到期监控和写权限保护方法。