跳到正文
Hugging Face 每日热门论文·· 6 天前精选AI 评分90

K2-Horizon 提出六款面向推理与智能体工作的全开源语言模型

K2-Horizon: A Frontier Fleet of Open Source Language Models

AI 导读

K2-Horizon 提出六款全开源语言模型,规模从 0.9B 稠密模型到 375B-A23B MoE,面向通用推理与智能体任务。这些模型在智能体和编码基准上领先或可与同规模强开源模型竞争;36B-A4B 结合 MoVA 和 softplus 注意力门控,以 1/7 活跃参数几乎匹配同数据训练的 32B 稠密模型,Uno 则可将解码加速最高 2.2x。

推荐理由

同数据训练的对照结果显示,36B-A4B 以 1/7 活跃参数接近 32B 稠密模型,为研究规模与稀疏性提供了可复用基线。

来源:Hugging Face 每日热门论文 · huggingface.co

事件后续 · 1

查看事件全部