中国工程院院士郑纬民:ChatGPT带动“AI大算力时代”

添加书签

专注AIGC领域的专业社区,关注GPT-4、百度文心一言、华为盘古等大语言模型(LLM)的发展和应用落地,以及国内LLM的发展和市场研究,欢迎关注!

在4月21日召开的“首届超互联新算力产业暨第三届中国IDC行业DISCOVERY大会”上,中国工程院院士郑纬民谈及人工智能产业发展时表示,人工智能(AI)算力是当前人工智能领域发展的关键,也是算力基础设施的重要组成部分,是新基建和国家“东数西算”工程的关键任务抓手。

郑纬民称,AI计算是近30年才有的,在海量数据、实时响应、极端条件等场景下,AI计算较通用计算优势愈发明显,尤其是随着ChatGPT的发展,算力需求大幅提升,算力也将迎来高速扩张时代。预计到2025年,我国AI算力总量将超过1800EFlops,AI算力占总算力比重超过85%

在谈及AI计算与HPC(高性能计算)的区别时,郑纬民指出,HPC通常应用在天气预报、核聚变模拟、飞行器设计等领域,而AI计算是做分类、回归、自然语言处理等,二者应用场合不同,运算精度也不一样。

“传统的高性能计算机的测试结果与人工智能需要的性能不完全一致。高性能计算算力测试程序主要使用双精度浮点数运算,即64位浮点运算,人工智能训练以单精度浮点数,即32位浮点数为主。”在郑纬民看来,现在要做符合语言模型的训练,就要考虑半精度平衡性,即设计中主要考虑半精度运营性能,又要注意双精度运算能力不能过低,所以双精度与半精度运算性能之比为1:100较好。

除此之外,郑纬民认为AI计算还需要做到网络平衡设计和IO子系统平衡设计。“现在很多厂家都已经在考虑这三个平衡设计,国内也有差不多30个城市在建或者建好了AI超算中心。”据其预测,HPC+AI+大数据中心在未来不超过5年的时间内将会融合到一台计算机中,“既可以做HPC,又可以做AI,也能处理大数据”。

另外针对AI大模型,郑纬民提出,ChatGPT出来以后,大家对大模型训练都比较关心。在其看来,参数越多、训练的数据越多、计算机越多、效果就越好,越接近于人脑,这里面是正相关关系,所以探索更大参数模型的效果具有重要科学意义。

本文来源21世纪经济报道,如有侵权请联系删除

END