跳到正文
热点事件历史事件

K2-Horizon发布六款全开源模型

2 篇报道2 个报道来源首报4 天前更新

先了解这件事

AI 综述

K2-Horizon 项目团队发布六款面向通用推理和智能体任务的全开源语言模型,规模从 0.9B 稠密模型到 375B-A23B MoE,并开放预训练数据、各训练阶段的中间检查点、训练日志,以及训练、评测和基础设施代码。 项目团队称,这些模型在智能体和编码基准上领先或接近同规模强开源模型;其中,36B-A4B 模型以约七分之一的活跃参数接近同数据训练的 32B 稠密模型,Uno 的解码速度最高可提升至 2.2 倍。Institute of Foundation Models 随后在 arXiv 发布了 134 页技术报告,介绍六款模型从架构、预训练、数据、后训练到推理的构建过程。

AI 根据报道生成 · 3 天前更新

事件进展

2 个进展

  1. 11月18日 00:00 · 1 篇报道
    K2 Horizon 技术报告上线 arXiv
    AK:K2 Horizon 技术报告上线 arXiv,详述六个大语言模型的构建过程
  2. 11月16日 03:00 · 1 篇报道
    K2-Horizon 开源模型群发布
    Hugging Face 每日热门论文:K2-Horizon 提出六款面向推理与智能体工作的全开源语言模型

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AK精选
    K2 Horizon 技术报告上线 arXiv,详述六个大语言模型的构建过程

    Institute of Foundation Models 将 K2 Horizon 技术报告发布至 arXiv,以 134 页详述六个模型从架构、预训练、数据、后训练到推理的构建过程。

11月16日
  1. Hugging Face 每日热门论文精选
    K2-Horizon 提出六款面向推理与智能体工作的全开源语言模型

    K2-Horizon 提出六款全开源语言模型,规模从 0.9B 稠密模型到 375B-A23B MoE,面向通用推理与智能体任务。这些模型在智能体和编码基准上领先或可与同规模强开源模型竞争;36B-A4B 结合 MoVA 和 softplus 注意力门控,以 1/7 活跃参数几乎匹配同数据训练的 32B 稠密模型,Uno 则可将解码加速最高 2.2x。