Hugging Face Blog·· 3 天前精选AI 评分80
180B 参数、32GB 内存:Transformers 流式加载 MoE 专家,将生成速度逼近 Strata
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI 导读
作者在配备 32 GB 统一内存的 MacBook M5 上,用 Transformers 从 SSD 流式加载 180B 参数 Qwen3.8-Flash-Next 的 MoE 专家,使短解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。
推荐理由
该实验给出低内存设备运行大型 MoE 的可迁移路径,细化了专家流式读取、有界缓存与 Metal 内核各自解决的瓶颈。
来源:Hugging Face Blog · huggingface.co