跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

40 条精选近 30 天 32 条共收录 166 条

更新

部署工程的精选

今天11月21日周六第 1–20 条
11月19日周四
  1. AWS Machine Learning Blog77

    Salesforce 如何借助 Amazon SageMaker AI 跨区域推理路由扩展全球模型服务

    Salesforce 通过 Amazon SageMaker AI 跨区域推理路由,将 30+ 个全球 Region、数百个 AWS 账户中的既有端点接入统一调用路径,同时满足数据驻留要求。

    推荐理由:Salesforce 的接入与压测数据展示了如何用托管路由缓解跨区域容量碎片,同时满足数据驻留要求并控制故障回切。

  2. Hugging Face Blog80

    180B 参数、32GB 内存:Transformers 流式加载 MoE 专家,将生成速度逼近 Strata

    作者在配备 32 GB 统一内存的 MacBook M5 上,用 Transformers 从 SSD 流式加载 180B 参数 Qwen3.8-Flash-Next 的 MoE 专家,使短解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。

    推荐理由:该实验给出低内存设备运行大型 MoE 的可迁移路径,细化了专家流式读取、有界缓存与 Metal 内核各自解决的瓶颈。

11月18日周三
  1. NVIDIA Blog75

    NVIDIA RTX Spark 紧凑型桌面电脑现已开售

    ASUS、Dell 和 MSI 的 NVIDIA RTX Spark 紧凑型桌面电脑现已开售,可在专用 Windows PC 上运行本地 AI 智能体、图像与视频生成及模型微调。

    推荐理由:材料将硬件规格、可运行模型规模与本地工作流放在一起,便于判断专用紧凑型桌面电脑是否适合常驻智能体和创作任务。

  2. Logan Kilpatrick70

    Google AI Studio 新增自定义域名和 Android 应用构建功能

    Google AI Studio 新增自定义域名支持,用户可直接购买域名并构建 Android 应用。应用可通过 Google Play 商店下载到手机,目前仅限美国;平台还支持安全地为 Android 应用添加 AI:ai.studio/build

    推荐理由:这些更新把域名购买、Android 应用构建和 AI 接入集中到 AI Studio,呈现从原型开发到手机安装的一体化路径。

  3. AWS Machine Learning Blog76

    OpenAI SageMaker AI 实时端点新增 KV cache 感知路由

    OpenAI SageMaker AI 实时端点现支持 KV cache 感知路由,可依据模型容器上报的缓存状态和实例负载,将请求发送到持有最长匹配缓存的实例。

    推荐理由:基于容器上报的实际缓存状态而非固定前缀推断,可为长上下文与多轮对话选择缓存匹配更长且负载较低的实例。

  4. Google Developers Blog77

    Google 开源 ABFS,加速超大型 Git 仓库检出与构建

    Google 开源 Another Build File Service(ABFS),通过按需加载源码和共享构建缓存,加速超大型 Git 仓库的检出与构建。在同一云网络的 GCE n2d-standard-64 VM 上,Android 源码检出从约 36 分钟降至 8 秒以内,完整构建从约 80 分钟降至略高于 2 分钟。

    推荐理由:ABFS 将按需加载、内容寻址文件系统与两阶段构建缓存结合,为超大型 Git 仓库提供可迁移的提速方案。

11月17日周二
  1. NVIDIA Blog75

    NVIDIA 推出四节点 DGX Spark HPC Developer Kit,可本地部署最多 700B 参数模型

    NVIDIA 在 SC26 推出并开售 DGX Spark HPC Developer Kit,面向研究人员提供桌面四节点集群,用于运行多节点科学计算、AI 模型和智能体。

    推荐理由:四节点桌面集群把多节点科学计算和大模型开发移到本地,可减少共享 GPU 集群排队,并让团队先在本地调试再扩展到数据中心。

  2. Hugging Face Blog82

    Hugging Face 将 Inference Providers 的语言模型路由切换至 OpenRouter

    Hugging Face 将 Inference Providers 的语言模型请求切换至 OpenRouter,由后者按实时价格、速度和可靠性选择供应商,并在失败时自动重试。

    推荐理由:文中同时披露路由实测与开放权重模型的用量、成本对比,可用于评估统一多供应商推理入口的工程收益和取舍。

  3. Google Developers Blog77

    如何按 AI 智能体会话为 GKE 节点池规划容量

    Google 讲解了如何按 AI 智能体会话而非 Web 请求为 GKE 节点池规划容量,并介绍 Agent Substrate 和 AX 如何在会话等待时停放沙箱、释放计算资源。

    推荐理由:文章用100个编码智能体的成本模型说明,应按实际占用 worker 的会话配置节点池,并以最繁忙时段的提示频率校准容量。

  4. AWS Machine Learning Blog76

    如何用 Amazon Bedrock Managed Knowledge Base 表格搜索回答跨文件问题

    Amazon Bedrock Managed Knowledge Base 现已支持表格搜索,可通过智能体检索读取 CSV、XLSX 和 XLS 文件的完整表格,并结合相关文档回答多步分析问题。

    推荐理由:文章拆解了表格搜索先检索定位文件、再在隔离沙箱中读取整表计算的机制,并提供文件选择与审计追踪方法。

11月14日周六
  1. AWS Machine Learning Blog71

    如何在 Amazon Bedrock 上用 NVIDIA NeMo Switchyard 将编码智能体请求路由到合适模型

    AWS 介绍了如何在 Amazon Bedrock 上部署 LiteLLM 与 NVIDIA NeMo Switchyard,为编码智能体请求配置 Stage 或 Random 模型路由。

    推荐理由:文章把编码智能体的路由评估从单次 token 价格转向每个成功任务成本,并提供可部署的 Stage、Random 配置与基线对比方法。

  2. AWS Machine Learning Blog63

    OpenFold3 在 Amazon SageMaker JumpStart 上部署并预测生物分子结构

    AWS 介绍如何在 Amazon SageMaker JumpStart 上部署 OpenFold3-preview(OpenFold3 0.4.1),并通过 SageMaker 异步推理预测蛋白质、DNA、RNA、小分子配体及其复合物的 3D 结构。

    推荐理由:文章给出 OpenFold3 在 Amazon SageMaker JumpStart 上部署异步推理端点的流程,并展示预计算 MSA 对复合物预测置信度和结合构象的影响。

  3. AWS Machine Learning Blog63

    Amazon Bedrock 如何为 AI 开发与生产力工具实现成本归因与使用控制

    AWS 介绍了如何利用 Amazon Bedrock 的 IAM principal 归因机制,为经由 bedrock-runtime 或 bedrock-mantle 调用的 AI 开发与生产力工具实现按用户成本追踪。

    推荐理由:文章把按用户、团队和成本中心追踪 Bedrock 支出的配置步骤与控制方案串联起来,便于搭建可查询、可分层治理的成本管理流程。

11月13日周五
  1. Hugging Face76

    llama.cpp v1.0.0 发布,面向手机、笔记本电脑和工作站本地运行 AI 模型

    Georgi Gerganov 发布 llama.cpp v1.0.0,这是该库首个主要的完全稳定版本,用于在手机、笔记本电脑和工作站本地运行 AI 模型。相关信息表示,该项目将支持各种硬件、平台和模型类型,并推动 AI 更加分布式。详情:huggingface.co/blog/ggml-org/…

    推荐理由:这条发布交代了 llama.cpp v1.0.0 作为首个主要完全稳定版本的定位,并说明其面向多种设备本地运行 AI 模型的支持方向。

11月12日周四
  1. Google AI85

    Google 发布 Gemini Decision 1 模型与 Decisions API,支持多模态决策评估

    Google 发布 Gemini Decision 1 模型与 Gemini Decisions API,支持在一次请求中对文本、图片、音频、视频和 PDF 进行最多 1,000 个 yes/no、choice 或 rubric-scoring 问题评估。

    推荐理由:原文给出单次处理多模态输入和 1,000 个问题的接口设计,并列出延迟、价格与置信度输出,便于评估其在路由和审核流程中的适用性。

11月11日周三
  1. Google Developers Blog77

    Google 发布 A2UI 1.0 稳定版,支持跨平台智能体界面渲染

    Google 发布 A2UI 1.0,这是其生成式 UI 开放协议的首个稳定版本,可让 AI 智能体返回表单、图表等交互界面。协议支持双向函数调用、无障碍和扩展元数据,开发者可使用面向 Web、Android 和 iOS 的开源渲染器,以及 Python、TypeScript 和 Dart SDK。

    推荐理由:A2UI 1.0 将智能体生成界面与应用原生渲染分开,并补充双向函数调用和多平台 SDK,适合了解跨端生成式 UI 的实现路径。