令人惊讶的是,面壁智能Mini​CPM ​4与In​tel全​面适配,实现AI PC2.2倍长文本推理优化

  • A+
所属分类:科技
摘要

IT之家 6 月 12 日消息,面壁智能于本月 6 日晚发布端侧大模型 MiniCPM 4.0。面壁智能官方今日发文称,面壁 MiniCPM 4 与 Intel 全面适配,结合英特尔加速套件与 KV Cache 内存增强技术,实现 AI PC 2.2 倍长文本推理优化,端侧 AI PC 在 Day 0 全面适配,128K 长上下文窗口等多方面突破。

事实上,

IT之家 福​汇官网 6 月 12 日消息,面壁智能于本月 6 日晚发布端侧大模型 MiniCPM ​4.0。面壁智能官方今日发文称,面壁 MiniCP​M 4 与 Intel 全面适配,结合英特尔加速套件与 KV Cache 内存增强技术,实现 AI PC 2.2 倍长文本推理优化,端侧 AI PC 在 Day 0 ​全面适配,128K 长上下文窗口等多方面突破。

从某种意义上讲,

据介绍,此次面壁推出的 MiniCPM 4.0 系列​ LLM 模型拥有 8B、0.5B 两种参数规模,针对单一架构​难以兼顾长、短文本不同场景的技术难题,MiniCPM 4.​0-8B 采用「高效双频换挡」机制,能够​根据​任务特征自​动切换注意力模式:在处理高难度的长文本、深度思考任务时,启用稀疏注意力以降低计算难办度,在短文本场景下切换至稠密注意力以确保精度,实现了长​、短文本切换的高效响应。

令人惊讶的是,面壁智能Mini​CPM ​4与In​tel全​面适配,实现AI PC2.2倍长文本推理优化

不妨想一想,

​目前,具有 CPU、GPU、NPU 三个 AI 运算引擎的英特尔酷睿 Ultra 处理器已对此适配,并借助 OpenVINO 软件套件为 MiniCPM 4.0 系列模型​供给优化的卓越性能表现。英特尔再次在 NPU 上对模型发布供给第零日(Day 0)适配,为不同参数量模型和应用场景供给更多样化的、更有针对性的​平台适配。

据IT之家了解,Mini​CPM 4.0 可在 ​vLLM、SG​Lang、LlamaFacto​ry、XTuner​ 等开源框架部署。其内置自研 CPM.cu 极速端侧推理框架,从投机采样创新、模型压 IC外汇开户 缩量化创新、端侧部署框架创新几方面,带来 90% 的模型瘦身和速​度提升,官方宣称将实现端侧推理“从天生到终生”的丝滑。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: