首页> 科技 > 正文

超大规模智能模型“悟道2.0”参数规模达1.75万亿

2021-06-02 10:18:44    出处:科技日报

6月1日,北京智源人工智能研究院在2021北京智源大会上发布超大规模智能模型“悟道2.0”。据悉,其参数规模达1.75万亿,是AI模型GPT-3的10倍,打破之前由GoogleSwitchTransformer预训练模型创造的1.6万亿参数记录,是目前中国首个、全球最大的万亿级模型。

智源研究院理事长张宏江表示,目前,“大模型+大算力”是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义,未来将基于大模型形成类似电网的变革AI产业基础设施。AI大模型相当于“发电厂”,将数据,也就是“燃料”,转换为智能能力,驱动各种AI应用。如果将大模型和所有的AI应用相连接,为用户提供统一的智能能力,全社会将形成一个智能能力生产和使用的网络,即“智网”。大模型就是下一个AI的基础台,是未来AI发展的战略基础设施。

智源研究院学术副院长唐杰教授介绍说,“悟道”超大模型智能模型旨在打造数据和知识双轮驱动的认知智能,让机器能够像人一样思考,实现超越图灵测试的机器认知能力。“悟道”团队在大规模预训练模型研发上做了很多基础工作,形成自主的超大规模智能模型技术创新体系,拥有从预训练理论技术到预训练工具,再到预训练模型构建和最终模型测评的完整链条,从技术上是完整成熟的。“悟道2.0”实现了“大而聪明”,具备大规模、高精度、高效率的特点。

据了解,“悟道”团队研发的FastMoE技术,是打破国外技术瓶颈,实现“万亿模型”基石的关键。其研究并开源的FastMoE是首个支持PyTorch框架的MoE系统,具有简单易用、灵活、高能等特点,并且支持大规模并行训练。而且,其还支持Switch、GShard等复杂均衡策略以及不同模型。(记者华凌)

消费
产业
美好生活文创设计大赛评选出10个作品入围决赛 第七届中国西部旅游产业博览会暨2021重庆国际文化旅游产业博览会将于6月11日至14日在
福田区继续加大停车位供应 继续鼓励错峰共享 6月1日,深晚记者从深圳市交通运输局福田管理局获悉,福田区继续加大停车位供应,督促
“Z世代”渐成网络文学创作主力也是主要消费群体 互联网原住民、潮流引领者、二次元爱好者、敢赚又敢花的剁手党……近年来,一个被贴上
2020网络版权产业用户付费收入达5659.2亿元 6月1日,国家版权局发布《中国网络版权产业发展报告(2020)》。报告显示,2020年我国网
基金