跳到正文
Hugging Face Blog·· 3 天前精选AI 评分80

180B 参数、32GB 内存:Transformers 流式加载 MoE 专家,将生成速度逼近 Strata

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

作者在配备 32 GB 统一内存的 MacBook M5 上,用 Transformers 从 SSD 流式加载 180B 参数 Qwen3.8-Flash-Next 的 MoE 专家,使短解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。

推荐理由

该实验给出低内存设备运行大型 MoE 的可迁移路径,细化了专家流式读取、有界缓存与 Metal 内核各自解决的瓶颈。

来源:Hugging Face Blog · huggingface.co