Meta首席执行官马克·扎克伯格更新了公司正在开发的新Llama 4模型的情况,该模型正在一个由超过10万台NVIDIA H100 AI GPU组成的集群上训练。
扎克伯格表示,这个集群比他见过的任何其他集群都要大,预计Llama 4的小型模型将首先准备好。
据报道,仅H100 AI GPU芯片的成本就超过20亿美元,这意味着马克·扎克伯格为NVIDIA签了一些大单。NVIDIA首席执行官黄仁勋最近与Meta首席执行官马克·扎克伯格进行了交谈,黄仁勋表示,Meta现在拥有超过60万台NVIDIA H100 AI GPU,扎克伯格回应称Meta是NVIDIA的“优质客户”。
Meta正在与xAI和埃隆·马斯克竞争,马斯克的xAI计划将其Colossus AI超级计算机集群的规模翻倍,该集群目前拥有10万台NVIDIA Hopper AI GPU,并计划升级到20万台NVIDIA Hopper AI GPU。但这场最大的AI超级集群的竞争非常有趣,只是不要让我看到电费账单。