天天视讯!浪潮信息助力淮海智算中心,千亿参数AI大模型训练算力效率超50%
(资料图片)
近日,淮海智算中心携手浪潮信息进行了超大规模参数AI大模型训练性能测试,实测数据表明,千亿参数规模的自然语言AI单体大模型在淮海智算中心计算平台上的训练算力效率达53.5%,刷新了业内AI大模型训练算力效率新高。这意味着淮海智算中心将可为国内生成式AI创新团队提供高性能、高效率的AI大模型训练算力服务。
生成式AI需要基于海量的自然语言或多模态数据集,对拥有巨大参数的超大规模AI模型进行训练,其训练所需AI算力当量非常高,如以PD(Petaflops-Day)为单位来衡量,OpenAI的GPT-3大模型训练的算力当量为3640PD,而浪潮"源1.0"大模型的算力当量则为4095PD。
超大规模AI大模型的训练一般必须在拥有成百上千加速卡的AI服务器集群上进行,如何在AI计算集群上获得更高的训练算力效率则会直接影响到模型训练时长以及算力消耗成本,这对于提升生成式AI研发创新效率有着非常重要的影响。据公开资料表明,GPT-3大模型在其V100 GPU集群上的训练算力效率为21.3%,而浪潮"源1.0"的训练算力效率则达到了44.8%。
针对AI大模型训练的计算特点,浪潮信息AI团队对淮海智算中心算力系统进行了专业设计,对集群架构、高速互联、算力调度等方面进行全面优化,在系统架构上,采用单节点集成8颗加速器的AI服务器,节点内加速器间实现超高速P2P通信,节点间建立极低延迟、超高带宽的Infiniband通信网络。在大模型训练技术层面,成功运用了中文巨量AI模型"源1.0"的训练优化经验,对分布式训练策略进行了针对性优化,通过合理设计张量并行、流水并行和数据并行,精准调整模型结构和训练过程的超参数,最终实现了千亿参数规模AI大模型的训练算力效率达到53.5%。
千亿参数AI模型结构及其实际性能表现您可能也感兴趣:
为您推荐
辽宁扩大缓缴社保费政策实施范围 补缴期间免收滞纳金
增额终身寿险成银保市场上的黑马 中途退保恐会损失保费
保险公司纷纷探索转型之路 聚焦细分业务、推出新产品
排行
最近更新
- 天天视讯!浪潮信息助力淮海智算中心,千亿参数AI大模型训练...
- 【天天快播报】TUV南德授予东方低碳D碳云碳管理系统评估声明
- QNAP大容量TS-1655混合式存储方案,支持八核心高性能
- 全球关注:e络盟公布2022年度社区奖获奖者
- 抗焦虑与养心安神的方法有哪些?每晚两片谷维素能治失眠吗?
- 皮肤营养过剩会怎么样?脸干会导致毛孔粗大吗?
- 钙镁锌片有什么功效与作用?钙镁锌片适合什么人吃?
- 黄金虫草的功效与作用有哪些?全国最好的虫草在哪里?
- 什么是月家痨病?月痨病的症状和潜伏期是怎样的?
- 添加剂的危害有哪些?食品添加剂能消化吗?
- 香蕉皮擦脸有哪些功效?睡前怎样保养皮肤?
- 猎人名字拉风点的怎么起?wow猎人好听的名字大全?
- 天天视讯!2021最新韩文网名有哪些?韩文网名怎么起?
- 游戏法师名字怎么起?法师名字有哪些?
- 每日报道:有创意的篮球队名怎么起?十大好听篮球队名介绍?
- 好听的战士名字怎么起?魔兽世界战士霸气名字有哪些?
- 神武名字怎么起?好听的神武名字大全?
- 全球即时:很贱又欠揍的六字网名怎么起?六字网名大全?
- 今日要闻!心情不好的伤感网名怎么起?2012最新版的伤感网名大全?
- 焦点短讯!qq空间名字伤感怎么起?伤感男生网名大全2012?
- 环球热讯:黑暗系冰冷名字怎么起?孤独黑暗系网名有哪些?
- 去眼袋偏方有哪些?男人眼袋怎么消除最快?
- 脱脂减肥胶囊有什么功效?减肥胶囊吃了有危害吗?
- 窝小芽产品守护儿童健康,1357食法注重营养均衡
- 用户故事:借钱不易 钱小乐为出租司机的人生亮起绿灯
- 焦点速读:次氯酸与过氧化氢哪个好?
- 环球短讯!次氯酸消毒液腐蚀家电吗?
- 【全球快播报】为什么有的柿子很硬也可以吃而且还很甜?
- 环球资讯:荸荠怎么去皮最方便的方法
- 【全球报资讯】脆柿怎么切?