跳到正文
今天11月21日周六1 条
11月20日周五
11月19日周四
  1. Hugging Face Blog80

    180B 参数、32GB 内存:Transformers 流式加载 MoE 专家,将生成速度逼近 Strata

    作者在配备 32 GB 统一内存的 MacBook M5 上,用 Transformers 从 SSD 流式加载 180B 参数 Qwen3.8-Flash-Next 的 MoE 专家,使短解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。

    推荐理由:该实验给出低内存设备运行大型 MoE 的可迁移路径,细化了专家流式读取、有界缓存与 Metal 内核各自解决的瓶颈。

11月18日周三
  1. Google Developers Blog77

    Google 开源 ABFS,加速超大型 Git 仓库检出与构建

    Google 开源 Another Build File Service(ABFS),通过按需加载源码和共享构建缓存,加速超大型 Git 仓库的检出与构建。在同一云网络的 GCE n2d-standard-64 VM 上,Android 源码检出从约 36 分钟降至 8 秒以内,完整构建从约 80 分钟降至略高于 2 分钟。

    推荐理由:ABFS 将按需加载、内容寻址文件系统与两阶段构建缓存结合,为超大型 Git 仓库提供可迁移的提速方案。

11月17日周二
11月13日周五
  1. Hugging Face76

    llama.cpp v1.0.0 发布,面向手机、笔记本电脑和工作站本地运行 AI 模型

    Georgi Gerganov 发布 llama.cpp v1.0.0,这是该库首个主要的完全稳定版本,用于在手机、笔记本电脑和工作站本地运行 AI 模型。相关信息表示,该项目将支持各种硬件、平台和模型类型,并推动 AI 更加分布式。详情:huggingface.co/blog/ggml-org/…

    推荐理由:这条发布交代了 llama.cpp v1.0.0 作为首个主要完全稳定版本的定位,并说明其面向多种设备本地运行 AI 模型的支持方向。

11月12日周四
10月20日周二
  1. Google Developers Blog79

    TorchTPU 如何接入 TorchTitan 并优化 Cloud TPU 上的模型训练

    Google 将 TorchTPU 集成进 TorchTitan,提供在 Google Cloud TPU 上使用 PyTorch 训练模型的 TorchTitan TPU fork,代码位于 github.com/google-pytorch/tor…。

    推荐理由:文章把 TorchTPU 上的 PyTorch 训练优化拆成可复用配置,并用 Llama 3、Qwen3 和 FLUX.1 的实测结果说明各环节的收益。

10月17日周六
9月29日周二