Thinking Machines Lab 发布本地多模态模型 Inkling 2 Mini
Thinking Machines Lab 发布面向本地部署的多模态 MoE 模型 Inkling 2 Mini,约有 26B 物理总参数、每个 token 激活 3B 参数,支持 1M-token 上下文及图文输入。
推荐理由:文章拆解循环层与跨轮消息机制,并给出多套本地推理路径,便于比较模型容量、速度和显存之间的取舍。
Thinking Machines Lab 发布面向本地部署的多模态 MoE 模型 Inkling 2 Mini,约有 26B 物理总参数、每个 token 激活 3B 参数,支持 1M-token 上下文及图文输入。
推荐理由:文章拆解循环层与跨轮消息机制,并给出多套本地推理路径,便于比较模型容量、速度和显存之间的取舍。
Salesforce 通过 Amazon SageMaker AI 跨区域推理路由,将 30+ 个全球 Region、数百个 AWS 账户中的既有端点接入统一调用路径,同时满足数据驻留要求。
推荐理由:Salesforce 的接入与压测数据展示了如何用托管路由缓解跨区域容量碎片,同时满足数据驻留要求并控制故障回切。
作者在配备 32 GB 统一内存的 MacBook M5 上,用 Transformers 从 SSD 流式加载 180B 参数 Qwen3.8-Flash-Next 的 MoE 专家,使短解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。
推荐理由:该实验给出低内存设备运行大型 MoE 的可迁移路径,细化了专家流式读取、有界缓存与 Metal 内核各自解决的瓶颈。
ASUS、Dell 和 MSI 的 NVIDIA RTX Spark 紧凑型桌面电脑现已开售,可在专用 Windows PC 上运行本地 AI 智能体、图像与视频生成及模型微调。
推荐理由:材料将硬件规格、可运行模型规模与本地工作流放在一起,便于判断专用紧凑型桌面电脑是否适合常驻智能体和创作任务。
Google AI Studio 新增自定义域名支持,用户可直接购买域名并构建 Android 应用。应用可通过 Google Play 商店下载到手机,目前仅限美国;平台还支持安全地为 Android 应用添加 AI:ai.studio/build
推荐理由:这些更新把域名购买、Android 应用构建和 AI 接入集中到 AI Studio,呈现从原型开发到手机安装的一体化路径。
OpenAI SageMaker AI 实时端点现支持 KV cache 感知路由,可依据模型容器上报的缓存状态和实例负载,将请求发送到持有最长匹配缓存的实例。
推荐理由:基于容器上报的实际缓存状态而非固定前缀推断,可为长上下文与多轮对话选择缓存匹配更长且负载较低的实例。
AWS 给出使用 Amazon Bedrock AgentCore 和开源 SMART 工具包构建 WhatsApp AI 智能体的实现路径。
推荐理由:文章把 WhatsApp 接入拆为消息标准化、媒体处理、跨会话记忆、调度与模板管理,提供从本地测试到 Terraform 部署的可迁移路径。
Google 开源 Another Build File Service(ABFS),通过按需加载源码和共享构建缓存,加速超大型 Git 仓库的检出与构建。在同一云网络的 GCE n2d-standard-64 VM 上,Android 源码检出从约 36 分钟降至 8 秒以内,完整构建从约 80 分钟降至略高于 2 分钟。
推荐理由:ABFS 将按需加载、内容寻址文件系统与两阶段构建缓存结合,为超大型 Git 仓库提供可迁移的提速方案。
Simon Willison 与 Prime Radiant 发布三种编码智能体外部沙箱服务器实现,将智能体留在沙箱外,仅让其执行的代码进入专用沙箱。
推荐理由:把智能体与代码执行环境分离,并用域名白名单和凭据替换控制外联,为安全试用本地模型提供了可迁移方案。
NVIDIA 在 SC26 推出并开售 DGX Spark HPC Developer Kit,面向研究人员提供桌面四节点集群,用于运行多节点科学计算、AI 模型和智能体。
推荐理由:四节点桌面集群把多节点科学计算和大模型开发移到本地,可减少共享 GPU 集群排队,并让团队先在本地调试再扩展到数据中心。
Hugging Face 将 Inference Providers 的语言模型请求切换至 OpenRouter,由后者按实时价格、速度和可靠性选择供应商,并在失败时自动重试。
推荐理由:文中同时披露路由实测与开放权重模型的用量、成本对比,可用于评估统一多供应商推理入口的工程收益和取舍。
Google 讲解了如何按 AI 智能体会话而非 Web 请求为 GKE 节点池规划容量,并介绍 Agent Substrate 和 AX 如何在会话等待时停放沙箱、释放计算资源。
推荐理由:文章用100个编码智能体的成本模型说明,应按实际占用 worker 的会话配置节点池,并以最繁忙时段的提示频率校准容量。
Amazon Bedrock Managed Knowledge Base 现已支持表格搜索,可通过智能体检索读取 CSV、XLSX 和 XLS 文件的完整表格,并结合相关文档回答多步分析问题。
推荐理由:文章拆解了表格搜索先检索定位文件、再在隔离沙箱中读取整表计算的机制,并提供文件选择与审计追踪方法。
AWS 介绍了如何在 Amazon Bedrock 上部署 LiteLLM 与 NVIDIA NeMo Switchyard,为编码智能体请求配置 Stage 或 Random 模型路由。
推荐理由:文章把编码智能体的路由评估从单次 token 价格转向每个成功任务成本,并提供可部署的 Stage、Random 配置与基线对比方法。
AWS 介绍如何在 Amazon SageMaker JumpStart 上部署 OpenFold3-preview(OpenFold3 0.4.1),并通过 SageMaker 异步推理预测蛋白质、DNA、RNA、小分子配体及其复合物的 3D 结构。
推荐理由:文章给出 OpenFold3 在 Amazon SageMaker JumpStart 上部署异步推理端点的流程,并展示预计算 MSA 对复合物预测置信度和结合构象的影响。
Google Research 宣布向外部研究者和开发者开放 Antigravity 中基于 Gemini 4 的 /teamwork 与 /boost 工作流。
推荐理由:原文将并行探索、专门验证和上下文分工组织成可复用的多智能体工作流,并用数学形式化、化学结构识别与代码优化案例展示其适用范围。
AWS 介绍了如何利用 Amazon Bedrock 的 IAM principal 归因机制,为经由 bedrock-runtime 或 bedrock-mantle 调用的 AI 开发与生产力工具实现按用户成本追踪。
推荐理由:文章把按用户、团队和成本中心追踪 Bedrock 支出的配置步骤与控制方案串联起来,便于搭建可查询、可分层治理的成本管理流程。
Georgi Gerganov 发布 llama.cpp v1.0.0,这是该库首个主要的完全稳定版本,用于在手机、笔记本电脑和工作站本地运行 AI 模型。相关信息表示,该项目将支持各种硬件、平台和模型类型,并推动 AI 更加分布式。详情:huggingface.co/blog/ggml-org/…
推荐理由:这条发布交代了 llama.cpp v1.0.0 作为首个主要完全稳定版本的定位,并说明其面向多种设备本地运行 AI 模型的支持方向。
Google 发布 Gemini Decision 1 模型与 Gemini Decisions API,支持在一次请求中对文本、图片、音频、视频和 PDF 进行最多 1,000 个 yes/no、choice 或 rubric-scoring 问题评估。
推荐理由:原文给出单次处理多模态输入和 1,000 个问题的接口设计,并列出延迟、价格与置信度输出,便于评估其在路由和审核流程中的适用性。
Google 发布 A2UI 1.0,这是其生成式 UI 开放协议的首个稳定版本,可让 AI 智能体返回表单、图表等交互界面。协议支持双向函数调用、无障碍和扩展元数据,开发者可使用面向 Web、Android 和 iOS 的开源渲染器,以及 Python、TypeScript 和 Dart SDK。
推荐理由:A2UI 1.0 将智能体生成界面与应用原生渲染分开,并补充双向函数调用和多平台 SDK,适合了解跨端生成式 UI 的实现路径。