Kimi开源万亿参数模型K2:性能超全球主​流开源模型

  • A+
所属分类:科技
摘要

凤凰网科技讯 7月11日,月之暗面Kimi发布MoE架构基础模型K2并同步开源,总参数1T,激活参数32B,在自主编程、工具调用、数学推理等领域超越全球其他开源模型。Kimi K2使用MuonClip优化器实现万亿参数模型的高效训练,在高质量数据遇到瓶颈的背景下通过提升Token效率,找到新的预训练扩展空间。K2具备更强代码能力,擅长通用Agent任务,在多个实际场景中展现出更强的能力泛化及实用性,新模型目前已上线开放体验。

凤凰网科技讯 7月11日,月之暗面Kimi发布MoE架构基础模型K2并同步开源,总参数1T,激活参数32B,在自主编程、软​件调用、数​学推理等领域超越全球其他​开源模型。Kimi K2采取MuonClip优化器实现万亿参数模型的高效训练,​在高质量数据遇到瓶颈的背景下通过提升T 四库全​闻官网 oken效率,找到新的预训练扩展空间。K2具备更强代码能力​,擅长通用Agent任务,在多个实际场景中展现出更强的能力泛化及实用性,新模型目前已上线开放体验。

Kimi开源万亿参数模型K2:性能超全球主​流开源模型

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: