摩尔线程与无问芯穹在国产GPU上首次实现大模型实训

综合2024-09-22 04:23:541564
3B规模大模型“MT-infini-3B”在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台上完成了训练。线程芯穹型实训

摩尔线程联合无问芯穹宣布,无问双方在近日正式完成基于国产全功能GPU千卡集群的国产3B规模大模型实训。该模型名为“MT-infini-3B”,上首次实现袁珊珊图片在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台上完成了高效稳定的大模训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的线程芯穹型实训可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的无问新范式。

摩尔线程与无问芯穹在国产GPU上首次实现大模型实训

MT-infini-3B模型训练总用时13.2天,国产经过精度调试,上首次实现实现全程稳定训练不中断,大模集群训练稳定性达到100%,线程芯穹型实训陈乔恩图片千卡训练和单机相比扩展效率超过90%。无问目前,国产实训出来的上首次实现MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的大模其他模型,在C-Eval,井柏然图片MMLU,CMMLU等3个测试集上均实现性能领先。

摩尔线程与无问芯穹在国产GPU上首次实现大模型实训

MT-infini-3B性能表现 

无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,可爱图片素材而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。”

摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”

此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。

本文地址:http://752.775n.com/news/50b9999471.html
版权声明

本文仅代表作者观点,不代表本站立场。
站内提供内容均依据网络上的公开引用资源。如有侵权或违反公序良俗的内容请发邮件到xm520vip@gmail.com

全站热门

网红娟子直播调侃918后续!被平台永久封禁,网信部开始调查

强将手下无弱兵 玄甲军唐朝一统天下的常胜军

蒙古国领土突进我国300多公里,截断了一半内蒙,为何这样划分?

限量5000份!全国首款“零碳”新会陈皮产品发布

尼西亚帝国:成为了新文化的中心

一块不该出现的石头,若上面记载是真的,将彻底改写人类历史

盘点人类历史上那些奇葩的税收

司马懿的两个儿子,司马师和司马昭为什么没有自相残杀?

友情链接