初创公司的生存取决于第一条规则:永远不要缺钱。无论是Cerebra、Tenstorrent、Groq还是SambaNova,每家AI芯片初创公司都面临着在Nvidia主导的市场中维持资金流的挑战。
迄今为止,尽管许多AI芯片初创公司都忙于各种PR,包括芯片发布、电路板发布和开发可以修改的SDK,但没有一家公司说得出任何实际客户的名字。
在没有这样的突破之前,Tenstorrent一直在设定某种基调,发布叙事、技术和业务战略,让业界了解Tenstorrent是谁以及它将走向何方。
为什么要这样宣传?从第一天起,Tenstorrent的高管们(CEO-Jim Keller、COO-Keith Witek和CCO-David Bennet)就非常明确地表示:“我们不是在与Nvidia竞争。”
他们对外始终如一地表示,如果一家初创公司认为自己可以与Jenson Huang为Nvidia打造的巨大工程资源和财力相媲美,那“简直是疯了”,因为Nvidia的市值已超2万亿美元。
或许Tenstorrent在谨慎地降低人们的期望值。但这也反映了对当今AI硬件市场以及Tenstorrent的地位和前景的现实看法。
尽管如此,仍有媒体在等待一家AI芯片公司成为下一个Nvidia。
谁不喜欢大卫与歌利亚的故事呢?
上周,我看到了一个熟悉的标题,“Startup with ‘radical’ concept for AI chips emerges from stealth with $15 million to try to challenge Nvidia”。
“Challenge Nvidia”这个故事情节苍白且老套,让人难以相信。
Tenstorrent的理由
那么,如果Tenstorrent真的没有在挑战Nvidia,它的利基在哪里?有哪些Nvidia没有cover到的角落可供Tenstorrent抢夺呢?
所谓“服务不足”的AI市场有多大?
AMD的Lisa Su预测,到2027年,AI领域的收入将达到4,000亿美元。保守预测的数字约为1,000亿美元,因为很多人认为不存在生产4,000亿美元AI硬件的制造能力。不过,Tenstorrent认为,到本十年末,AI芯片行业的TAM(total available market)将达到2,000亿美元。
无论从哪个角度来看,这都是一个巨大的市场,有大量的AI细分市场可供Tenstorrent等公司开发。
在最近与Ark Investment的一次视频播客中,Tenstorrent的COO Witek分享了他在不与Nvidia发生冲突的情况下开拓AI市场的计算方法。
“对于像Nvidia这样的公司来说,每年都有数百亿美元投入到DGX盒子与H100这样的产品中,利润率非常高,你需要不断打造大型、昂贵、高性能的AI盒子,配备昂贵的HBM、interposer和一切非常大的东西。”Nvidia为维持自身增长而期望赚取的资金量,让“二线、三线细分市场落在了后面,而这些细分市场对Nvidia来说可能是更痛苦的支持”。
更具体地说,Witek指出:“Nvidia并不是在寻找5亿美元或10亿美元的机会。他们正在寻找下一个250亿美元的机会。这样的机会并不多,但这可能是他们的重点。对Jenson来说,这将是一件明智的事情。
同时,他补充说:“Jim Keller和我可以专注于50亿美元的机会。”虽然这只是AI硬件市场的一小部分,但Witek和Kellert认为它足以让Tenstorrent上市。
Tenstorrent害怕Nvidia吗?
Witek说:“在一个2,000亿美元的市场中,没人能让营收30亿美元的Nvidia垂头丧气。他们不会把自己的毛利率从82%降到甚至81%,来试图打击竞争对手。”
这个理由听起来可能有些自圆其说,但Witek的信念是基于他对电子行业历史的观察。像IBM或Intel这样的大公司,在它们的鼎盛时期,都是被它们的规模和对年销售额的高期望值所驱使。他们钓大鱼,把小雨小虾留给别人去捞,直到小雨小虾占领了海洋。Clayton Christensen的一书对这一经典案例进行了详细描述。
游戏计划
Tenstorrent声称,AI市场足够大,足以让其他行业找到Nvidia提供的替代解决方案。
如果是这样,他们是谁,他们看中Tenstorrent的什么?
每家AI芯片供应商都希望在数据中心获得设计上的第一桶金,除此之外,Tenstorrent还提到了汽车和机器人领域的关键应用。Tenstorrent战略与企业传播副总裁Bob Grim说,人们对AI芯片的兴趣已经让“一些机器人客户”进入了发展通道。今年夏天,Tenstorrent将指定至少一家车厂为其商业客户。
Tenstorrent的魅力何在?这位发言人表示,Nvidia H100和A100的有限供应和令人瞠目的成本是明显的障碍。更重要的是,汽车和机器人领域的应用“需要难以想象的质保工作”。
100%的代码检测
典型的例子就是Nvidia的专有软件库CUDA。
Tenstorrent声称,“很多客户……无法使用CUDA”,因为有些应用程序“需要100%的代码检测,而使用CUDA库,你无法做到这一点,因为它们是专有的”。
对此,Nvidia表示,CUDA“作为Nvidia DRIVE OS软件的一部分已通过认证,可提供高达ASIL-D的认证”,但没有直接解释CUDA库本身是否通过了ASIL认证的SEooC(Safety Element Out of Context)。
SEooC非常重要,因为它用于开发SW、HW或系统元素,在这些元素中,开发者确信该元素不仅是一个安全程序中的安全元素,也是其他安全程序中的安全元素,在这些安全程序中,该安全元素可用于多个安全目标或安全要求。
开发者是否将CUDA库用于机器人、无人机、采矿车或其他不一定使用Nvidia DRIVE OS的应用?在这种情况下,Nvidia如何对CUDA库进行100%的代码检查和测试?Nvidia承认,机器人和医疗设备等市场也有类似的安全认证,这些认证与汽车行业的ISO 26262相关,但并不完全相同。“我们正在与这些行业的客户合作,并将在未来公布其中的一些产品。”
通过提供开源软件堆栈,Tenstorrent认为自己的定位是为无法使用Nvidia的CUDA或DRIVE OS的汽车和机器人客户提供服务。
分散的AI应用
Tenstorrent并没有在超大规模企业中寻找巨额交易机会,而是选择了长尾市场。一个每个应用都有不同需求的碎片化AI市场。
Tenstorrent的优势在于其AI芯片解决方案的可扩展架构。其方法是将基于图形计算机的AI硬件与RISC-V计算内核相结合。RISC-V内核为处理解决方案提供了内置灵活性,以支持未来的模式。
Tenstorrent最近推出了“Wormhole”芯片,其特点是为对可扩展性感兴趣的开发者设计了PCIe卡和工作站。他们可以使用Tenstorrent强大的开源软件栈进行多芯片开发。
该公司发言人将Wormhole描述为“a fabric”或“sea of chips”,称其“非常适合于解决需要在多个芯片上解决的问题,并让这些芯片协同工作”。
通过利用Wormhole芯片,Tenstorrent正在为开发者构建开发板和系统。Wormhole n150由单个处理器驱动。Wormhole n300由两个处理器驱动。这些板卡随后被制成两种不同类型的工作站,供开发者使用。第一种是TT-LoudBox,一种由四个Wormhole n300(八个处理器)驱动的开发者工作站;第二种是TT-QuietBox,一种高端水冷式开发者工作站。Tenstorrent利用其开源TT-Buda和TT-Metallium软件栈为这两个工作站提供支持。据该公司称,这些软件可支持多个LLM和其他流行的AI模型。
工作站与服务器中的AI芯片
Tenstorrent希望强调的另一个产品是其在工作站中使用的AI芯片与在服务器中设计的AI芯片。
Tenstorrent解释说,“我们在工作站和服务器中使用相同的AI芯片”。这是因为当开发者从AI开发转向部署,再扩展到服务器时,“将代码从工作站移植到服务器变得非常简单直接”。
相比之下,Dell等电脑公司在数据中心和工作站中使用不同的AI芯片。
Dell发言人证实,“Dell Precision工作站没有使用Nvidia的H100或A100。她补充说,Dell的工作站“包括跨芯片合作伙伴的强大图形选择,如Nvidia RTX Ada代GPU和AMD Radeon Pro”。
当然,“当你需要扩展模型并进行更广泛的部署时,企业可以轻松地过渡到Dell PowerEdge服务器”。她强调,Dell服务器提供“一系列的GPU”,这些GPU来自芯片合作伙伴,包括Nvidia的H100、A100和即将推出的Blackwell架构和H200 GPU,即将支持Intel的Guadi3和AMD的Instinct MI300x加速器。
SoftBank最近收购了英国的Graphcore,随后AMD又收购了芬兰的Silo.ai,后者是欧洲最大的私人AI实验室。但这些举动是否预示着AI芯片公司之间会出现并购浪潮呢?很难说。要摆脱昙花一现的局面,AI芯片初创公司需要一个可靠的生存计划。