马斯克4个月建成世界最强超算！10万块H100，将训练Grok-3

智工具（公众号：zhidxcom）
编译 |  吴浪娜
编辑 |  漠影
智工具9月4日消息，据Business Insider、《财富》杂志报道，埃隆·马斯克（Elon Musk）周二在交际平台X上公布，其AI草创公司xAI于上周末上线了名为“Colossus”的超级计较机。
该集群具有10万块英伟达H100处置器，是天下上最强大的AI练习系统。若xAI可以获得5万块英伟达新推出的H200系列处置器，Colossus的范围将在几个月内扩大1倍。
Colossus从设想到完成仅用了122天，将被用于练习xAI的大型说话模子Grok。马斯克还说，希望在12月公布Grok-3。Grok与大师熟知的GPT-4是合作对手。

▲马斯克在X上公布Colossus已上线。（图源：Business Insider）
一、10万块H100处置器，xAI经过特斯拉间接保障芯片供给

Colossus搭载了10万块英伟达标准Hopper H100处置器，这是任何其他单个AI计较集群都没法相比的。
高性能GPU是强大AI模子所必须的计较才能来历。
马斯克估量，假如xAI可以获得5万块英伟达新推出的、更先辈的H200系列芯片（其性能大约是前者的两倍），Colossus的运算才能将在几个月内增加1倍。
马斯克于2023年7月创建了xAI，直到今年6月才选定美国孟菲斯作为Colossus的扶植地址。Colossus仅用122天完成上线，扶植速度可谓惊人。
在X上，英伟达数据中心账户回应马斯克的帖子称：“使人兴奋的是，天下上最大的GPU超级计较机Colossus，在创记载的时候内上线了。”
自2022年末ChatGPT公布以来，AI的炒作高潮让各家公司争相抢购英伟达的芯片。由于需求激增和供给受限，致使芯片欠缺。
虽然获得芯片并不轻易，但各家公司仍会想各类法子来确保芯片的供给，并将其投入利用，以便在合作中领先对手。
马斯克作为英伟达的重要客户，许诺仅特斯拉一家今年就会在其硬件上花费30亿到40亿美圆。
特斯拉将英伟达已经托付给它的AI芯片转手给了xAI，在芯片供给方面xAI获得了先发上风。
二、Grok-3或将成为最强大AI，特斯拉能够投资xAI

Colossus将被用于练习xAI的大说话模子Grok-3。
“我们希望能在12月公布Grok-3，到那时，Grok-3应当是天下上最强大的AI。”马斯克曾在播客中说道。
很多特斯拉专家猜测，它终极将为特斯拉的人形机械人Optimus供给动力。
马斯克对此寄与厚望，以为这个具有计谋意义的灯塔项目，每年能够为特斯拉带来1万亿美圆的利润。
上个月，Grok-2的早期测试版已向用户推出。
它仅在大约1.5万块英伟达H100处置器上停止了练习，但按照一些聊天机械人排行榜的标准，它已经是功用强大的AI大型说话模子之一。
风投公司红杉本钱（Sequoia Capital）的合股人肖恩·马奎尔（Shaun Maguire）在X上写道，xAI团队现在“可以利用天下上最强大的练习集群”来构建其Grok聊天机械人的下一块版本。他补充说：“在曩昔几周里，Grok-2已经敏捷跻身最早辈模子之列。”
由1.5万块到10万块，GPU数目增加近7倍，这说明，马斯克并不筹算在开辟通用野生智能（AGI）的合作中向OpenAI屈就。他曾因担忧谷歌主导这项技术，而在2015年末帮助萨姆·阿尔特曼（Sam Altman）配合创建了OpenAI。后来他与阿尔特曼发生争论，现在正再次起诉OpenAI。
此外，xAI在5月的B轮融资中筹集了60亿美圆，获得了安德森·霍洛维茨（Andreessen Horowitz）和红杉本钱等风险投资公司的支持。
特斯拉能够是下一家投资马斯克xAI的公司。
马斯克还谈道，他将向特斯拉董事会发起，就能否向xAI投资约50亿美圆停止投票。这一发起遭到了很多股东的接待。
他曾在X上写道，“我之前说过，特斯拉今年将在AI相关支出上花费大约100亿美圆，其中约一半是内部支出，主如果特斯拉设想的AI推理计较机和一切汽车中都装备的传感器，以及Dojo（特斯拉定制的AI超级计较机）。”
三、Colossus范围超越Meta公司集群，马斯克与扎克伯格打擂台

风投公司Air Street Capital的开创人兼普通合股人纳森·贝纳什（Nathan Benaich）一向在追踪科技公司收买的H100 GPU数目。
他统计Meta共有35万块，xAI有10万块。马斯克的另一家公司特斯拉则有3.5万块。
在7月颁发的一篇研讨论文中，Meta暗示其Llama 3大型说话模子的最大版本是在1.6万块H100 GPU上练习的。
3月，该公司公布“对Meta的AI未来停止严重投资”，建立了两个各有2.4万块GPU的集群，以支持Llama 3的开辟。
这说明，xAI最新的练习集群Colossus比用于练习Meta最大AI模子的集群要大很多。
这让马斯克得以与硅谷的合作对手马克·扎克伯格一较高低。
结语：xAI产物计谋待清朗，运转Colossus为城市资本增压

与大大都AI公司一样，xAI技术的贸易化仍存在很大的不肯定性。“xAI可以在马斯克的率领下筹集到如此多的资金并获得停顿，这使人印象深入，但他们的产物计谋仍不清朗。”贝奈克告诉Business Insider。
Colossus的上线给孟菲斯这座城市带来了机遇。市政官员以极快的速度赞成了该项目。但它也将给城市的资本带来压力。据市政公用奇迹部分的官员估量，该系统天天需要多达100万加仑的水来冷却办事器，而且将消耗高达150兆瓦的电力。虽然如此，马斯克以为任何值得做的工作都值得快速完成，以避免落后于合作对手。
来历：Business Insider、《财富》


上一篇：赵丽颖《浴火之路》官宣，我想说：拿下50亿票房不是没能够
下一篇：野村中国首席经济学家陆挺：存量按揭存款利率或调降40bp