跳到正文
TestingCatalog·· 12 小时前AI 评分75

Thinking Machines 发布开放权重 MoE 模型 Inkling 2 Mini

THINKING MACHINES 🔥: A new Inkling 2 Mini open-weight model has been announced! > "Inkling 2 Mini is a Mixture-of-Experts model with 26.4B total pa...

AI 导读

Thinking Machines 宣布推出开放权重模型 Inkling 2 Mini,采用循环 Transformer 和 MoE 架构。该模型共有 26.4B 参数、3.4B 激活参数,考虑循环后每个 token 的权重激活量为 5.4B。

来源:TestingCatalog · x.com

事件后续 · 1

查看事件全部