作者 | ZeR0
编辑 | 漠影
利用光学I/O推动AI革命。
什么样的初创公司,能同时拿到英伟达、AMD、英特尔三大芯片巨头的投资?答案是Ayar Labs。芯东西12月12日报道,硅谷光互连芯片设计公司Ayar Labs昨日宣布完成英伟达、AMD、英特尔、格芯等参投的1.55亿美元融资。与台积电有战略合作关系的VentureTech Alliance、美国机器制造巨头3M也参与了此轮融资。
目前其累计融资达3.7亿美元,估值已超过10亿美元,成为新晋芯片独角兽。Ayar Labs联合创始人兼CEO马克·韦德(Mark Wade)说:“领先的GPU提供商AMD和英伟达以及半导体代工厂格芯、英特尔代工、台积电,再加上Advent、Light Street和我们其他投资者的支持,凸显了我们的光学I/O技术重新定义AI基础设施未来的潜力。”获得如此多芯片巨头的青睐,Ayar Labs凭什么?
01.AI的下一个百万倍加速,需要光互连等先进技术
Ayar Labs成立于2015年,总部位于加州圣何塞,专门为大规模AI工作负载提供光互连解决方案。其瞄准的赛道,如今正是下一代AI基础设施建设的关键技术之一。高盛近日发布的一份报告预测,未来十年,AI基础设施支出预计将超过1万亿美元。这凸显了对消除传统铜互连、可插拔光学器件造成的瓶颈的解决方案的迫切需求。当前大多数数据中心的运营依赖于传统的电互连,铜线是数据中心短距离信息传输的标准。AI服务器系统在持续传输数据过程中会消耗大量电力,打破现有AI基础设施瓶颈的有效解法之一,便是采用光互连技术来加速通信。
采用传统互连时,随着AI模型复杂性增加,系统效率会降低。据Ayar Labs官网分享,一颗GPU的运行效率为80%,64颗GPU的运行效率可能是50%,256颗GPU的运行效率可能只有30%了。光学I/O则能够针对提高AI基础设施的性能和能效。英伟达数据中心产品首席平台架构师罗伯·奥伯(Rob Ober)认为,过去十年,英伟达加速计算已经为AI带来百万倍的加速,而下一个百万倍的加速将需要光学I/O等全新技术,来支持未来AI/ML工作负载和系统架构的带宽、功率和规模要求。OpenAI计算主管克里斯托弗·伯纳(Christopher Berner)也强调道,横向扩展期间的互连带宽对于防止加速器在等待网络传输或梯度时停转至关重要。
02.突破数据移动瓶颈,用光互连加快AI系统通信速度
此前光一直被用于数据传输,只不过主要用于电信网络的长距离通信中。Ayar Labs则将这项技术塞进了芯片封装里。
该公司开发了业界首款针对大规模AI工作负载优化的封装内光学I/O解决方案。相比采用可插拔光学器件+电气SerDes的传统互连,Ayar Labs的方案可实现5~10倍的更高带宽、4~8倍的能效,并将延迟降低至1/10。其方案结合了两项行业首创技术——TeraPHY光学I/O Chiplet和SuperNova多波长光源。TeraPHY可集成到客户的SoC封装中,利用其SuperNova远程光技术实现更快的芯片间通信,从而帮助客户最大限度地提高AI基础设施的计算效率和性能,还能提高“AI应用的盈利能力指标”。
TeraPHY光学I/O Chiplet是一款体积小、功耗低、吞吐量高的铜背板和可插拔光学通信替代方案,其模块化多端口设计科承载8个光通道(相当于x8 PCIe Gen5链路)。
它将硅光子学与标准CMOS制造工艺结合,使专用集成电路(ASIC)能跨越从毫米到千米的距离进行通信,相当于形成一个巨型GPU。每个端口有256Gbps,每个Chiplet有2Tbps。
万亿参数AI模型和高性能计算(HPC)设计需要不断增加的带宽。Ayar Labs光学I/O提供4Tbps的总双向带宽,为生成式AI架构开辟了新的可能性。高性能计算(HPC)和AI的分布式计算系统无法容忍传统电气I/O前向纠错带来的数十纳秒额外延迟。而Ayar Labs光学I/O的延迟为每Chiplet + TOF 5纳秒,无需前向纠错。为了使电气I/O和可插拔光学器件能够穿越系统、机架和数据中心,112 Gbps长距离电气I/O会消耗6-10pJ/b的能量。Ayar Labs光学I/O消耗的能量则不到5pJ/b(10W)。
SuperNova是首款符合CW-WDM MSA标准的多波长、多端口光源,最多支持将16种波长的光传输至16根光纤。
与CWDM4多波长可插拔光学器件相比,其波长增加了64倍。该光源可驱动256个光学载波,实现16Tbps的双向带宽。
Ayar Labs基于开放标准(UCIe、CXL、CW-WDM MSA),使其能顺利大规模集成到AI系统中。这些芯片由格芯生产。Ayar Labs还与英特尔合作,将其技术集成到英特尔的制造产品中。该公司也在与台积电洽谈。HPE、英特尔、洛克希德·马丁、英伟达都是Ayar Labs的技术合作伙伴。其供应链合作伙伴包括格芯、MACOM、Sivers Semiconductors等。
03.瞄准AI数据中心挑战的硅光子学竞争者们
几个月前,Ayar Labs开始向部分客户出货了约15000台设备。马克·韦德希望到2026年中期,其芯片能实现大批量生产;到2028年及以后,每年出货量可达到1亿台以上。Advent Global Opportunities和Light Street Capital是Ayar Labs最新融资的领投方。Advent Global Opportunities合伙人乔丹·卡茨(Jordan Katz)将加入Ayar Labs董事会。他相信光互连技术将彻底改变AI基础设施的未来,而他认为Ayar Labs是引领这场革命的最佳初创公司。其他投资方中,英伟达正在基板层实现光学互连,英特尔也在今年早些时候展示了芯片间光通信。不过,Ayar Labs并非光互连领域的独孤求败。今年9月,瑞士光互连创企Lightium AG完成700万美元种子轮融资,投资方包括谷歌等;10月,美国光子计算及网络创企Lightmatter完成4亿美元D轮融资,总融资额达到8.5亿美元,估值超过44亿美元;同样在10月,另一家美国光子技术创企Xscape Photonics完成4400万美元A轮融资,由思科、英伟达等参投。在国内,上海曦智科技是全球首家以光计算和光互连为核心的AI芯片公司,已经构建光子计算和光子网络两大产品线,其Photowave系列是业界首款兼容PCIe 5.0和CXL 2.0协议的光互连硬件产品,数据传输延迟可以达到20纳秒(+TOF*)以内,其中有源光缆延迟可低至1纳秒以下。曦智科技的首个CPO共封装光学项目也正在落地中。
04.结语:重新思考AI系统架构
大模型推动计算资源需求激增,需要数百乃至数千个互连的GPU和其他加速器,这意味着数据要以闪电般的速度在芯片与存储设备之间流转。硬件利用率低、功耗飙升、成本增加等重压之下,传统互连方案越来越难以承担多模态AI系统所需的成本和吞吐量。从云计算大厂到智算基建商,都在探索新的数据中心架构设计,升级硬件和软件基础设施。芯片巨头们已经盯上了光互连技术,以期利用光学特性突破固有瓶颈,提高AI基础设施的性能和计算效率,同时降低成本和功耗。随着更多资本涌向这一赛道,光互连商业化落地进程正在提速中。