设为首页|收藏本站|
开启左侧

[科技] 中国工程院院士郑纬民:国产AI芯片核心问题是生态不够好,如果生态好60%的

[复制链接]
方三红 发表于 2024-7-9 07:07:19 | 显示全部楼层
 
中国工程院院士郑纬民:国产AI芯片焦点题目是生态不够好,假如生态好60%的 第1张图片


​中国工程院院士,清华大学计较机科学与技术系教授 郑纬民
7月7日信息化百人会(ChinAInfo100,信百会)2024年度钻研会上,中国工程院院士、清华大学计较机科学与技术系教授郑纬民颁发演讲。
郑纬民暗示,AI 大模子正在从单模态向多模态成长,同时利用也很多,这使得算力爆发性增加,算力一向求过于供。但同时,相比英伟达,国产 AI 芯片系统生态不够好。
整体来看,大模子算力首要分为四个条理:模子研发、模子练习、模子精调、模子推理,是以,算力存在于大模子生命周期的每一环。
郑纬民提到,算力很贵,本钱居高不下,如GPT-4用了800块英伟达A100,每月模子研发本钱200万美圆,其中,1万块A100的算力练习开销达2亿美圆,ChatGPT天天推理开销达70万美圆。而在大模子企业模子练习本钱中,算力占70%,而在模子推理本钱中,95%都是算力。
中国工程院院士郑纬民:国产AI芯片焦点题目是生态不够好,假如生态好60%的 第2张图片


其中,大模子练习层面,郑纬民指出,今朝有三种支持系统:
第一个是基于英伟达芯片的GPU系统。硬件性能好,编程生态好,可是不卖给中国,一卡难求,价格也贵了很多倍。
第二个是基于国产AI芯片的系统。
“这些年国产芯片不管是软件硬件都有很大的停顿,可是用户不太喜好用,缘由是国产卡的生态系统不太好。”
郑纬民早前在2024天下野生智能大会一场分论坛上具体论述称,虽然国内包括上海天数智芯、沐曦MetaX等国内20多家公司在生产AI芯片,芯片做的还是很不错的,进步也很大。但题目在于,国内 AI 系统时候短,出格是软件系统方面还不够成熟。
什么是生态系统好呢?郑纬民给出的界说是,假如本来用英伟达写了一个AI CUDA软件,现在很轻易移植到国产系统上,写起来的方式跟本来差不多,就叫生态好。假如移植起来,没有一年两年移不外来,那就是欠好。
“现在我们的状态就是生态不太好,所以大师不喜好用。”郑纬民以为,这需要做好系统设想和相关软件优化,具体包括十个方面:编程框架、并行加速、通讯库、算子库、AI编译器、编程语音、调剂器、内存分派系统、容错系统、存储系统等。
他暗示,生产AI芯片的厂家,一定要把这个十个方面做好,做好了大师就喜好用。在郑纬民看来,在国产算力支持大模子练习时,国产AI芯片只要到达国外芯片60%的性能,但假如把前述十个方面的软件生态新做好了,客户也会满足会用。
“大大都使命不会由于芯片性能只要60%而有明显感知,大师感遭到的欠好用还是生态不可。即使你做的硬件性能是人家的120%,但假如这十个软件没做好,还是不会用。”郑纬民说。
第三种是基于超级计较机的系统。今朝国内14个国家级超算中心,但机械空置率较高,用得不是很是满。
那末,用超级计较来做大模子练习行不可?郑纬民以为可以,但需要停止软硬件协同设想,并有望节省练习本钱。现场以Llama-7B和百川大模子的演示显现,利用国产超级计较练习,相较英伟达集群可节省本钱82%左右。
除了算力,存储也存在于大模子的生命周期的每一环,包括数据获得、数据预处置、模子练习、模子推理等。郑纬民夸大,内存对 AI 推理出格重要,假如改良存储系统,性能能有好几倍的进步,这意味着可以少买很多卡。
郑纬民指出,国产芯片在设想层面不能一味追随提升大模子练习多用的半精度(FP16)浮点计较性能,而应重视半精度和双精度(FP64)浮点计较性能的平衡,两者算力之比应为100:1,这样才能顺应更普遍的AI算法。此外,大模子使命练习量大、常常需要多卡互联,芯片层的收集参数、系统结构、存储性能愈发成为关键。
他以为,国产 AI 芯片亟待处理收集平衡设想、I/O子系统平衡设想、做好内存设想等技术才能。
近年来,包括了天数智芯、沐曦、摩尔线程、百度昆仑芯等一众GPU创业公司公布新产物并投入量产,但由于软件生态等缘由,采购仍未起量,生态构建亟待增强。而同时,据第一财经报道,虽然性能大幅下降,英伟达有望未来几个月内在中国托付跨越100万颗“中国特供版”H20芯片,今年整体在中国销售 AI 芯片总额到达约120亿美圆,而这些芯片不受美国对华 AI 芯片出口管束,每颗H20芯片价格则为1.2万-1.3万美金之间。
“假如把大模子根本设备平衡设想这些方面做好,他人用1万张卡,我们用9000张卡便可以了。假如这个工作不斟酌,乱做一通,人家1万块卡,你能够得3万块卡才能到达(类似)结果。”郑纬民在演讲结尾暗示。
(本文首发于钛媒体App,作者|林志佳,编辑|胡润峰)


上一篇:不管是美联储降息还是川普 下台 这一买卖都能成为赢家?
下一篇:三星遭受最大范围罢工!超6500人加入,短期对芯片产量影响有限
 

精彩评论2

正序浏览
简艾 发表于 2024-7-9 09:09:42 | 显示全部楼层
 
似这类这么专业性的文章,很少人会评论,虽然不懂但还是赞一下。
回复 支持 反对

使用道具 举报

 
布丁加糖 发表于 2024-7-9 09:30:36 | 显示全部楼层
 
核心问题是,价值观不一样,训练出来的Al大模型也不一样
回复 支持 反对

使用道具 举报

 
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

排行榜
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-7-20 04:41