智谱AI CEO张鹏：中国大模型创业者，不再追随OpenAI

文｜《中国企业家》记者 赵建凯
编辑｜李薇
头图来历｜ 受访者
看到福岛核电站启动核净化水排海的消息，张鹏在自己的电脑上选了一个AIGC机械人模板，想看看连系这个主题，AI能给出什么倡议，写出什么题材的内容。
AI机械人给出来的前五条成果比力常规，都是关于核电站、核污水的历史、书目、科普常识这类内容。但是，以后的几条成果，让他感应了几分惊奇。
“我感觉后两条倡议，真的超越了设想。”坐在北京清华科技园赛尔大厦五层的会议室，张鹏对《中国企业家》说道。赛尔大厦五层是智谱华章公司地点地，这家公司更加人熟悉的名字是智谱AI，张鹏则是这家AI创业公司的CEO。
这台智谱AI研发的AI机械人，依照张鹏的提问，天生的一条倡议是，“连系AR或VR的技术，做一个全场景式的虚拟旅游，带着人去看下福岛核电站现在的状态与之前的对照、差别有哪些，‘亲身’体验一下核污水排放的影响到底有没有，影响究竟多少。”
这个成果，于张鹏的小我感受虽然是料想之外，但假如连系到他现在所做的工作，也许就是道理当中了。也许是这台AI机械人背后的算法，捕捉到了张鹏在平常工作中的一些碎片信息，才给出来这样的倡议。
虽然建立只要四年时候，但由因而由清华大学计较机系常识工程尝试室的技术功效转化而来，智谱AI自诞生起就颇受市场关注，估值已经跨越了100亿元群众币，是今朝国内估值最快跨越百亿群众币的创业公司之一。
有接近智谱AI的人士称，这家公司今朝正处于新一轮融资中，新一轮投后估值在140亿元群众币左右，但尚未对外公布确认的具体投资人。
作为一家AI创业公司的掌舵者，张鹏现在所做的工作，就是若何将AI大说话模子在利用层面上，实现更快、更好的贸易化落地。
从OpenAI遭到启发

有人把2023年界说为“大说话模子元年”。一个关键的来由是，今年以来国内已有十多家AI公司的融资都跨越了1亿元，除了智谱AI外，还有百川智能、澜舟科技、Minimax等公司。
“元年”的触发点，是客岁11月份OpenAI公司初次向公众开放自家的聊天机械人ChatGPT，不但推高了AI投资浪潮，更推高了AI成长的新一波技术浪潮。
投资圈、创业圈里很多人都以为，现在的AI技术的重要感化和影响，并不逊于智妙手机、云计较。这项技术的利用，可以重塑很多行业，比如广告营销、金融、电子商务等。
那些可以完全把握这项技术的焦点的AI公司，大概那些可以充实利用这项技术的公司，都能率先在市场上赢得一定的市场份额，占据市场主导职位。
但在张鹏的界说中，“AI大说话模子元年”应当是2020年，也就是智谱AI建立的第二年。
2020年6月，OpenAI公布了预练习说话模子GPT-3，“刺激”了包括苹果、谷歌在内的一些科技巨头公司，投入更多的资金和人力练习自己的大说话模子。

与以往的说话练习模子相比，GPT-3最大的分歧之处在于，它所支持的练习参数的范围数目到达了1750亿个，这个范围比其上一代（2018~2019年间，OpenAI推出过GPT-1、GPT-2）的GPT-2横跨了一个数目级，而且，每个参数都还可以零丁调剂。
GPT-3甫一问世，人们就争相摸索它的文本内容天生才能，尝试着用它来撰写短篇小说、笑剧剧本，甚至创作诗歌。
但GPT-3也有自生“胎里带”的题目——它天生的文本内容的寄义与对现实天下的了解、诠释之间，仍存在差异。
虽然天生的文本在（英语）语法上是正确的，但却离开了现实，比如，它会写到“从夏威夷跳到17需要两条彩虹”(“it takes two rainbows to jump from Hawaii to 17”)。
“GPT-3的利用结果在一路头推出时并不是很好，但在那时也确切让大师看到了一种新思绪——确切地说，是从那时AI技术研讨的角度来说，缔造了一个新的思绪。”张鹏说。
GPT-3带来思绪启发后，业内出现了两极分化，一拨人感觉它是个新物种，很是赞。而另一拨人感觉它既没有天生什么新的工具，在背后也没有什么高深的理论支持，只不外是“大力出奇迹”而已，利用结果也并不是很好。张鹏则站在“两极”之外，以开放的视角来看待。
在张鹏看来，技术的衍生、演进是线性持续的，“永久是渐渐地往上涨、往上涨”。当技术的研讨和利用积累到一个“阈值”时，会迈过一个很关键的“坎儿”，这时的变化或结果就似乎实现了一个阶级腾跃，会让大师大吃一惊，几近跨越一切人的预感。
“那时（2020年）令我受惊的，并不是GPT-3在道理或理论上的冲破，而是这类技术变化或结果的阶跃的出现，也就是所谓的‘智能出现’。”
OpenAI的研讨员统计出，在今朝各类分歧的大说话模子中已经出现了接近140种所谓的“出现”才能。
“所以在我心里，把GPT-3出现的2020年，看做这一波AI技术（天生式预练习模子）浪潮的‘元年’。” 张鹏对《中国企业家》说。
溟溟当中自有偶合。OpenAI的GPT-3在2020年公布的时候，与智谱AI公司建立一周年的司庆日“撞”在了一路。
司庆日当天，国内AI范畴的先驱张钹院士作为受邀嘉宾来到智谱AI座谈。张鹏倡议，与张钹院士好好聊一下关于刚公布的GPT-3。
“GPT-3公布前，我们自己实在也在做这样的技术。它一公布，我们心里就隐约有一种感受，它确切纷歧样。”张鹏说，“OpenAI做的这个工作，也是我们一向期待去做的，一定要去追随去做的，更是一定要去做的。”
一周年司庆以后，智谱AI把OpenAI作为自己的对标工具，投入全情尽力去做这件心中记忆犹新的工作，起头计划自己的超大范围预练习模子。
“是千亿参数范围以上的那种预练习模子。在那时，能做这个工作的公司还是少数，最多只要五家。”张鹏夸大。
“权衡”VS “兼顾”

接管《中国企业家》专访时，张鹏言谈间流暴露典型的学者才有的一些习惯：在论述一个主题时，起头会有前情撮要的铺垫，中心有论述的展开和阐释，最初有结论的输出和定论。
他的穿着，流暴露的则是一种权衡以后的兼顾：红色立领衬衫转达出恰如其当的商务气质；专业跑鞋，可以保证行动自若时的舒适性。即即是正式采访前喝咖啡，也是权衡了咖啡因的提神结果和剂量后，才挑选只喝一杯咖啡。
这类“权衡”和“兼顾”，在智谱AI决议了局进入大范围预练习模子“游戏”时，更有侧重表现。
作为一家创业公司，要做大说话模子，“想到”之外，在“做到”时除了研讨层面上的应战，还有模子练习工程层面上触及到的资本投入、团队、练习数据等一系列的工作，每一项都需要很是大的投入。
“要想把这个模子做出来，本钱庞大。不是随随意便的一个玩家就能玩得起的。我们在那时下了很大的决心，才起头做这件工作。”张鹏说。
2019年颁发的一篇论文就曾估量出，练习一种大说话模子一个版本的本钱在那时就高达300万美圆。有新的数据称，GPT-4的练习总本钱在1亿美圆左右。这些真金白银，首要集合用在数据、计较力、电力等几方面。
大模子练习所需的数据量，限制着模子才能能否延续改良。GPT-3在练习时用到的文本数据量，相当于可从互联网上公然下载的一切高质量文本的数目。而其他的可供练习用的高质量文本，被存储在一些公司的专门数据库中，不能随意、免费利用。要想利用这些专稀有据，需要付出版权费。
已经有AI公司为了练习自己的模子，正在追求与类似《卫报》、消息团体这类的媒体机构合作，利用它们的授权文章来练习自己的模子，每年的合感化度大要在500万至2000万美圆。还有的AI公司用已有的大模子天生出来的内容，去二次“豢养”，但这类练习的成果喜忧各半。
至于电力消耗，大模子练习就像是一个吃电怪兽。OpenAI在练习GPT-3的时辰，用掉了1.3吉瓦时(GWh)的电力，相当于美国120个家庭一年的用电量，电费花了460万美圆。
决议了局后，智谱AI面临数据不敷、算力不够、本钱高企与模子适用有用性之间若何权衡的窘境。“对于我们这样的一个创业公司而言，在那时做这个工作，重要方针是把本钱降下来。也确切是履历过一段比力困难的期间。”张鹏说。
在权衡了各类筹钱的法子后，智谱AI决议自己掏腰包做。当初“困难期间”的一个风趣场景是，公司一只眼看着练习的数据量输入越来越少，另一只眼看着银行账户上的储备现金输出越来越多。
这些流进来的钱，有一定的比例是用在采办练习所用的算力上。算力的巨细与出现才能的出现慎密关联。由于出现出现的阈值，除了与练习数据的范围有关，更要靠算力这个“炼丹炉”的加持。
在高算力的感化下，模子范围只要稍微再扩大一些，新的才能在电石火花间就能显现出来。当初，GPT-3.5没能经过美国同一概师考试，到了GPT-4时，它以跨越90%考生的分数经过了。
算力的感化机制是，把模子里的文本数据分拆成一个个字符块，这些字符块在凡是情况下会一路出现。这些字符块的专业名词是“语素”(Token)，可所以单词，也可以是单词的前缀或后缀，甚至还可所以标点标记。
在GPT-3的算力范围内，每一次最多可以向它输入大约2000个语素；GPT-4则是3.2万个。模子可接管输入的语素越多，它能“了解”的高低文就越长，输出的答案也就越好。
也就是说，只要算力越强，模子内部处置的高低文就越长，答应可输入的语素就越多，终极输出的答案就越好。
在业界，今朝根基都是靠GPU（图形处置单元）芯片来供给这类算力。为了在本钱可控的范围下，处理可以与“千亿范围模子”婚配起来的算力，智谱AI找到了国内一家云办事供给商。
这家公司2020年左右采购了一批GPU芯片，原计划是将这批算力供给给视频游戏公司，但由于市场情况变化，这批芯片最初只能堆在仓库。智谱AI急需一定数目的芯片来处理算力题目，但本钱又不能太高。机遇偶合之下，就找到了这家云办事公司。
“我们先看了一下这批芯片的参数，与我们自己的计较需求相差10%左右。然后又测试了一下，根基能用上。双方就敏捷告竣了合作，合作量还挺大的。”张鹏说。
有了可接管本钱范围内的GPU芯片，智谱AI还在想法子把模子练习的本钱往下压，又做了很多后续的工作，比如，把模子紧缩、量化、加速，让它可以在只管更低的本钱下运转起来。
经过这类在算法上的处置，本来在一台机械上要用到八张GPU卡（八张高端GPU卡的价格在100万元群众币左右）来计较的使命，现在能够只需要10万~20万元群众币的硬件就能有用跑起来了。
半身科学家，半身工程师

在业内助士看来，脱胎于高校尝试室的智谱AI从一诞生就是有技术、有人材、有客户的“三有”公司。而这背后，是在尝试室时工程、技术、道理、科学理论的四位一体融合，“体”就是公司的开创团队。

“在尝试室时，我们的团队就是一边做研讨一边做工程。”张鹏说。首要研讨的是若何将机械进修、数据挖掘、常识图谱这些技术利用到工程理论中。
尝试室从系统、理论上建立了一整套的方式论和适用工具，然后在工程中去理论。经过理论后的反应再来检验技术研讨的功效，并在理论进程中灵敏地捕捉前沿技术的一点一点的演进。
从2017年起头，尝试室起头做AI预练习模子，那时还没有“大”这个前缀，在算法研讨方面夯实了根本。这就让尝试室团队的成员既能处理AI算法上的技术科研题目，也能处理工程上的技术利用题目。
在尝试室时，团队便可以办事B端客户了，尝试室也可以自己赡养自己。“当做立公司的时辰，差不多全部尝试室团队就‘平移’出来了。所以才会有人说我们是带着技术、人材团队，甚至客户出来的。”张鹏说。
2019年的6月11号，对于智谱AI而言是一个关键时辰，在这一天，公司建立。“这就暗示我们正式地从一个纯研讨的尝试室身份酿成了一个贸易化的公司，要到AI产业里面摸爬滚打地去做些工作出来。”
但在张鹏看来，本质上智谱AI做的工作自己没有太明显的变化，“我们对这件工作并不陌生，已经做了很多年”。


上一篇：第四范式今起招股：港股再迎AI独角兽，已获近亿美圆基石投资
下一篇：128GB版iPhone 15 Pro只支持1080p ProRes视频录制，除非外接硬盘