TestingCatalog·· 12 小时前AI 评分75
Thinking Machines 发布开放权重 MoE 模型 Inkling 2 Mini
THINKING MACHINES 🔥: A new Inkling 2 Mini open-weight model has been announced! > "Inkling 2 Mini is a Mixture-of-Experts model with 26.4B total pa...
AI 导读
Thinking Machines 宣布推出开放权重模型 Inkling 2 Mini,采用循环 Transformer 和 MoE 架构。该模型共有 26.4B 参数、3.4B 激活参数,考虑循环后每个 token 的权重激活量为 5.4B。
来源:TestingCatalog · x.com