返回AI 模型
AI 模型

面壁智能发布国产算力新模型,降低端侧AI内存需求

5月25日,面壁智能联合清华大学、OpenBMB开源社区发布并开源了极低位宽模型BitCPM-CANN,这是国内首个完全基于华为昇腾国产算力平台训练的三值大模型。该模型有0.5B、1B、3B、8B四个尺寸,相比同尺寸全精度模型,推理时可释放约6倍显存,模型能力保留率在90%至97.2%之间。面壁智能AI Infra负责人李宇轩表示,未来有望在手机上运行60B大模型。该模型诞生背景是全球内存价格飙升,2026年以来已上涨约5倍,倒逼厂商优化内存使用。行业重心正从高精度转向低比特量化,如FP8、FP4,并加速推进2-bit、1.58-bit技术。面壁智能耗时约三周完成昇腾平台适配,认为在8B以内模型训练上,昇腾体验已接近英伟达。目前模型权重已开源。

0 阅读来源:必应

点击下方链接阅读完整内容:

阅读原文
面壁智能,国产算力,端侧AI,低比特模型,华为昇腾

相关推荐