用 Agent Toolkit for AWS 分布式 KV 缓存技能降低自托管 LLM 成本与延迟
Agent Toolkit for AWS 分布式 KV 缓存技能可在编码智能体中评估并配置 Amazon ElastiCache,使自托管 LLM 推理成本最多降低 40%、TTFT 最多缩短 80%。技能通过 KVTrace 免费估算收益,兼容支持 Agent Skills 的编码智能体。
Agent Toolkit for AWS 分布式 KV 缓存技能可在编码智能体中评估并配置 Amazon ElastiCache,使自托管 LLM 推理成本最多降低 40%、TTFT 最多缩短 80%。技能通过 KVTrace 免费估算收益,兼容支持 Agent Skills 的编码智能体。
Google 本周在 Gemini App 的 Tasks 中上线 Duplex,使其可代用户致电商家并处理现实世界请求。其架构先后经历预 LLM 封闭领域模型、生成模型与确定性状态跟踪结合的混合栈,以及完全基于 Gemini 的统一栈。系统针对电话场景处理亚秒级延迟、噪声和会话节奏,并在通话开头披露 AI 身份,允许商家退出自动来电。
推荐理由:文章梳理 Duplex 从封闭领域模型到 Gemini 统一架构的十年演进,并交代实时电话中的低延迟与商户控制设计。
Amazon SageMaker HyperPod Slurm 推出托管集群扩展,首批覆盖可观测性和用户管理,可通过 API 或 Amazon SageMaker AI 控制台安装、配置、更新和删除。HyperPod 会预先校验配置并持续同步至新增或替换节点,同时报告状态和逐节点健康问题;该功能自 2026 年 11 月起在 HyperPod 支持区域提供,不额外收费。
Google 在 Gemini platform 开放 Semantic governance policies Preview,可在 AI 智能体执行工具调用前检查调用是否符合用户原始意图和自然语言政策。
OpenAI SageMaker HyperPod 推出 Global Inference Gateway,通过单个托管端点在同一区域或跨区域的多个 HyperPod 集群间路由推理请求,并自动执行故障转移。
Hebbia 测试 GPT‑6 Astra,以改进 Matrix 寻找问题所需来源和按要求制作演示文稿的能力。测试中,它在引用所需来源类型上领先最佳替代模型 13.6 个百分点,引用片段相关率为 99.5%;同时满足 97.9% 的适用演示要求,领先最佳替代模型 14.4 个百分点。
Google 给出 Gemini Enterprise 连接内部 Cloud Run MCP 服务器的安全方案。架构结合 Egress Agent Gateway、PSC、限定 FQDN 的 Private Cloud DNS,并以 Cloud Run IAM、OAuth 2.0 分别验证服务和用户。
AWS 宣布 Amazon Textract Insights 正式可用,这是 Amazon Textract 的新生成式 AI 功能,可通过新 API 按自然语言定义字段,并从单份文档或混合文档包返回结构化结果。服务可拆分最多 3,000 页的混合文档包,并为每个值提供置信度、来源页和边界框,无需训练模型。
Thinking Machines Lab 发布面向本地部署的多模态 MoE 模型 Inkling 2 Mini,约有 26B 物理总参数、每个 token 激活 3B 参数,支持 1M-token 上下文及图文输入。
推荐理由:文章拆解循环层与跨轮消息机制,并给出多套本地推理路径,便于比较模型容量、速度和显存之间的取舍。
Google Agent Anomaly Detection 现处于 Private Preview,并支持监控运行在 Google Cloud 之外的智能体。
Google 讲解 Gemini Enterprise 自定义 UI 如何处理用户、连接器与 ADK 智能体认证。用户应用可经 Google Identity 或 Workforce Identity Federation 接入,后端机器人可经 Workload Identity Federation 无密钥认证。
OpenAI 公布对抗性知识蒸馏防御方案,并称 GPT‑6.2 Astra 在自适应黑盒红队评测中,从此前请求提取受保护推理的平均攻击成功率由 GPT‑6 Astra 的54.0%降至0.2%。该方案结合对抗训练、输入与输出分类器、API 控制,以及针对跨账户协同提取活动的调查和处置;内部研究还发现,精确推理轨迹可向学生模型转移更多网络能力。
推荐理由:内部自适应红队评测显示,更新防护后此前请求的受保护推理提取成功率由54.0%降至0.2%,为反蒸馏防御提供量化参照。
Hugging Face 推出 harness adapters,通过在目标 AI 智能体 harness 内进行 RL,为 Qwen3.8-27B 分别训练 pi、Hermes Agent 和 OpenCode 的 LoRA adapter,并合并为一个 super-adapter。
推荐理由:文章给出同一模型在三种智能体 harness 中的训练配方与成对评测,可用于判断定制 RL 在性能和工具调用成本上的取舍。
Anthropic完成IPO,以每股$83.00发行合计1,127,000,000股Class A普通股,发行总收益约$93.5 billion,其中Anthropic获得约$91.6 billion。
AWS 介绍如何使用 Kimi Code CLI v2.7.0 的原生 bedrock provider,通过标准 AWS 凭证链连接并调用 Amazon Bedrock 上的模型,无需单独管理 Amazon Bedrock API key。示例以 Kimi K3.1 Pro Highspeed 为模型,涵盖命名配置文件与 SSO、IAM 权限、Region 设置、模型能力声明和完整链路测试。
AWS 回顾 Amazon SageMaker Inference 在 2026 年的后续更新,覆盖配置推荐、GPU 分区、多节点模型服务、跨区域路由和上线后的持续调优。
Amazon Bedrock AgentCore payments 新增 AWS Billing 支付选项,智能体可按请求以 USD 购买 AWS Marketplace 上支持 x402 的软件、API、数据和内容,费用计入开发者的 AWS 账单。
推荐理由:文章给出从商品发现、签名报价到支付结算的完整流程,并展示如何用会话预算、卖家白名单和 IAM 权限约束智能体支出。
AWS Quick 借助 Amazon Selling Partner 插件连接实时 Seller Central 数据,让卖家通过对话分析商品、库存和销售情况,并创建业务智能体。
BMW Group 介绍了其研发部门治理数百个智能体的方法,该部门有超过 12,500 名开发者,维护约 500 million 行车辆软件代码。治理规则通过 MCP 网关、中央注册表和编排边界外置,并按工作流步骤设置三级自治权限,由 CI/CD 以确定性检查阻止不合规部署。其架构将 MCP 工具、技能和流程分为三层,并通过持续验证、评估、可观测性和基础设施即代码支持复用与规模化运营。
AWS 解析 Amazon Connect Talent 如何以岗位相关问题、自适应追问和基于证据的评分实施结构化 AI 面试,并披露内部研究与独立专家评估结果。
NVIDIA 与 Microsoft 扩大全栈合作,新增和扩展 Azure、Microsoft Foundry、Azure Local 与 Windows PC 上的加速计算及 AI 部署选项。
Amazon Polly 的声音克隆功能现已以受限开放方式正式可用,可用经说话者同意的几分钟录音创建专属声音,并支持英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语。
推荐理由:文章梳理了声音克隆的创建与调用流程,并交代同意确认、加密、水印、权限和删除机制,便于评估生产接入条件。
NVIDIA 展示了开发者如何结合 GPT-6 Astra、GPT-6 Sol、Claude Code 等模型或工具与 Omniverse 库,通过自然语言指导和人工复核构建仿真应用。案例覆盖工业数字孪生、机器人抓取与装配、VR、仓库和自动驾驶测试,并强调让智能体检查渲染与日志,再由开发者直接验证物理行为和交互体验。
Accenture 给出一套在 Amazon Bedrock 上优化 AI token 成本的分阶段方法,先建立团队、工作负载和智能体级成本归因,再依次应用六类优化杠杆。
Google 在 Gemini API 的 Interactions API 中预览推出 Tool Retrieval,可按需加载工具参数 schema。Agent 仍能看到延迟加载工具的名称和描述,仅在需要调用时载入完整 schema,以减少输入 token、延迟及工具增多导致的选择准确率下降。
推荐理由:按需加载工具参数 schema 的设计,为大型 Agent 工具库提供了降低输入 token 并维持选择准确率的实现路径。
Skyflow 与 Amazon Bedrock AgentCore Gateway 通过请求和响应拦截器,阻止敏感数据进入 AI 智能体调用的工具及工具返回的模型上下文。
Google 介绍了 MaxText 中 Streaming DiLoCo 的跨数据中心 LLM 训练机制,通过分片并错峰同步模型参数,减少 DCN 或 WAN 上的通信停顿。
OpenAI 介绍了 Performance Factory 如何帮助 ChatGPT 保持高速运行。该系统由一组 Codex 驱动的工作流组成,用于发现并修复性能问题。
PolyAI Dialog-RSN-1 现已登陆 AWS Marketplace 和 Amazon SageMaker JumpStart,可部署为用户 AWS 账户内的 SageMaker 实时推理端点。
Google 介绍如何用 Tunix 在单台 Cloud TPU v6e-8 主机上对 Gemma 4 E2B 进行多轮工具调用强化学习训练。该模型在 Plane Strike 留出棋盘上的初始胜率为 9.4%,经过 100 步 agentic GRPO 后达到 95%,平均游戏长度从 22.44 次攻击降至约 16 次。
AWS 为 Amazon SageMaker HyperPod 推出增强型基础设施可观测性,用于更快诊断 GPU 训练问题。该功能支持 Amazon EKS 和 Slurm,通过 GPU 离群检测与静态规则定位硬件故障、EFA 吞吐下降、节流和过热。
Muru Bhaskaran 等人演示如何在 Amazon EKS 上构建自定义 AL2023 镜像,并配置 NVIDIA Run:ai GPU Fractioning 实现 Pod 级 GPU 显存共享。
GeForce NOW 推出黑五优惠,Performance 和 Ultimate 六个月会员首期减免 30%,活动持续至 11 月 30 日。服务同时扩展至三款搭载 Vega OS 的 Fire TV Stick,参与地区通过 Amazon 购买会员可在 12 月 31 日前享首月减免 90%。本周还有 9 款游戏加入,其中 5 款 Bethesda 游戏新增 GOG 版本支持。
Exa 通过优化 AWS Inferentia2 和 Trainium2 上的嵌入推理,将吞吐量提高约 1.5×,用于支撑数十亿文档索引。优化包括权重布局、autocast、NKI 内核、融合 SwiGLU MLP,以及按模型形状重写注意力内核,并以 0.999 余弦相似度作为正确性门槛。最终版本相较初始基线,在性能及每嵌入 100 万份文档的成本方面改善 47%。
OpenAI 衡量编码智能体对 AI 研究的加速作用,并指出其表现仍不均衡。相关结果也被用于分析这种能力对递归式自我改进意味着什么。
Amazon SageMaker HyperPod 推出工作负载恢复与扩展基础设施检查,用于更早发现训练数值异常、Kubernetes 集群故障和 Slurm 作业停滞。
AWS 在 Amazon SageMaker Studio 中推出 Amazon SageMaker JumpStart Model Leaderboard,可并排比较 JumpStart 模型的质量、速度和成本。
AWS 展示如何将八个负责任 AI 维度映射到 Amazon Aurora PostgreSQL,并以 RAG 客服聊天机器人深入讲解可解释性设计。方案使用 Aurora ML 和 pgvector 生成、存储嵌入向量,通过 Row-Level Security 隔离租户,并用 Amazon Bedrock Guardrails 检查隐私与上下文依据。
Google DeepMind 发布 Gemini 4 Neon,主打复杂软件工程、知识工作和科学流程中的快速端到端任务执行。其 xhigh thinking level 在 Artificial Analysis Intelligence Index 以 61 分列总体 #3,Vals Index 列 #2,并提供 1 million-token 上下文窗口。
推荐理由:原文同时给出第三方基准、每任务成本、上下文窗口和开放范围,便于比较 Neon 在性能与效率之间的定位。
Amazon Bedrock AgentCore Identity 新增对私有 CA 证书的支持,使 AI 智能体可连接并信任组织私有网络中的自托管 IdP。用户可将 PEM 编码的根或中间 CA 证书存入 AWS Secrets Manager 或 Amazon S3,并由凭证提供商引用;该功能要求使用 Amazon VPC Lattice。教程还介绍了 CA 轮换、到期监控和写权限保护方法。