K2-Horizon发布六款全开源模型
热点事件历史事件
K2-Horizon发布六款全开源模型
2 篇报道2 个报道来源首报4 天前更新
先了解这件事
AI 综述
K2-Horizon 项目团队发布六款面向通用推理和智能体任务的全开源语言模型,规模从 0.9B 稠密模型到 375B-A23B MoE,并开放预训练数据、各训练阶段的中间检查点、训练日志,以及训练、评测和基础设施代码。 项目团队称,这些模型在智能体和编码基准上领先或接近同规模强开源模型;其中,36B-A4B 模型以约七分之一的活跃参数接近同数据训练的 32B 稠密模型,Uno 的解码速度最高可提升至 2.2 倍。Institute of Foundation Models 随后在 arXiv 发布了 134 页技术报告,介绍六款模型从架构、预训练、数据、后训练到推理的构建过程。
AI 根据报道生成 · 3 天前更新
最新进展11月18日 00:00
K2 Horizon 技术报告上线 arXiv,详述六个大语言模型的构建过程事件进展
2 个进展
- 11月18日 00:00 · 1 篇报道K2 Horizon 技术报告上线 arXivAK:K2 Horizon 技术报告上线 arXiv,详述六个大语言模型的构建过程
- 11月16日 03:00 · 1 篇报道K2-Horizon 开源模型群发布Hugging Face 每日热门论文:K2-Horizon 提出六款面向推理与智能体工作的全开源语言模型
报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- AK精选K2 Horizon 技术报告上线 arXiv,详述六个大语言模型的构建过程
Institute of Foundation Models 将 K2 Horizon 技术报告发布至 arXiv,以 134 页详述六个模型从架构、预训练、数据、后训练到推理的构建过程。
11月16日
- Hugging Face 每日热门论文精选K2-Horizon 提出六款面向推理与智能体工作的全开源语言模型
K2-Horizon 提出六款全开源语言模型,规模从 0.9B 稠密模型到 375B-A23B MoE,面向通用推理与智能体任务。这些模型在智能体和编码基准上领先或可与同规模强开源模型竞争;36B-A4B 结合 MoVA 和 softplus 注意力门控,以 1/7 活跃参数几乎匹配同数据训练的 32B 稠密模型,Uno 则可将解码加速最高 2.2x。