跳到正文
  1. Hugging Face Blog80

    180B 参数、32GB 内存:Transformers 流式加载 MoE 专家,将生成速度逼近 Strata

    作者在配备 32 GB 统一内存的 MacBook M5 上,用 Transformers 从 SSD 流式加载 180B 参数 Qwen3.8-Flash-Next 的 MoE 专家,使短解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。

    推荐理由:该实验给出低内存设备运行大型 MoE 的可迁移路径,细化了专家流式读取、有界缓存与 Metal 内核各自解决的瓶颈。

已经到底了