有关人工智能(AI)快速发展的新闻报道层出不穷,与此同时,对先进、高效的硬件基础结构的需求也变得愈加迫切。大语言模型(LLM)越来越复杂,所需参数量每四到六个月就会翻一番。事实上,GPT-4的参数量超过一万亿!这个数字看似很直白,但其所对应的数据量庞大到令人咋舌──2万亿字节就相当于200,000张高分辨率照片或500,000个文档。要想高效且稳定地迁移如此庞大的数据集,就必须依赖于高可靠性、高带宽的互连技术。
如果数据陷入传输瓶颈,复杂的LLM算法和强大的加速器/处理器也将失去意义。大规模处理和存储这些模型需要高速和低延迟,而当前超大规模数据中心的基础设施无法满足。为了推动技术变革,超大规模用户和整个配套生态系统需要考虑从芯片级别转变,以支持扩展可实时处理PB级数据的系统,同时降低功耗。
在这种背景下,PCI Express标准再次更新,PCIe 7.0应运而生。PCIe 7.0可提供最高达512 GB/s的带宽和超低延迟,能够满足AI工作负载的海量并行计算需求,帮助缓解数据瓶颈。今天,新思科技推出了完整的PCIe 7.0 IP解决方案,助力实现安全的数据传输并为下一代AI和HPC芯片提升带宽。
▲ 图1:AI模型中的参数量每4到6个月就会翻一番,比摩尔定律快4倍,因此需要更大的容量、更多的资源和更快的互连
AI基础结构的演变
典型的云应用服务器机架单元中有清晰的结构:处理器和网络接口卡(NIC)或数据处理单元(DPU)通过PCIe链路进行连接。
▲ 图2:相干计算需求呈指数级增长,催生下一代CPU到加速器的连接技术
然而,AI模型日趋复杂,模型训练的基础结构要求也随之发生了巨大变化。当今的AI工作负载需要不同的架构,其中多个加速器需与中央处理器协同工作。事实上,一些先进架构需通过支持加载-存储架构的互连技术,在单个计算单元内连接多达1,024个加速器,确保处理器能够高效地管理和处理每个数据包。PCIe 7.0提供连接多个加速器所需的带宽和加载-存储功能,进而促使其高效处理大型、复杂的机器学习模型。此外,PCIe 7.0还满足了处理器的以太网带宽需求,以便与兼容1.6 Tbps以太网链路的网络接口卡进行连接。
更重要的是,PCIe 7.0还可以通过完整性和数据加密(IDE)协议支持强化数据安全防护,为事务层数据包(TLP)和流量控制单元(FLIT)提供数据机密性、完整性和重放保护。
新思科技PCIe 7.0 IP解决方案可支持扩展AI工作负载并降低集成风险
新思科技在PCIe IP领域深耕二十余年,与众多公司合作完成了3,000多项设计,致力于持续为整个PCIe生态系统提供接口IP支持,相关产品范围涵盖处理器、加速器、闪存控制器、固态驱动器、Retimer、智能NIC及交换机等。
典型的云应用服务器机架单元中有清晰的结构:处理器和网络接口卡(NIC)或数据处理单元(DPU)通过PCIe链路进行连接。
与前几代PCIe相比,互连功耗降低50%
低延迟、高带宽链路,提供从端点到根的完整解决方案,并包含所有必要的向后兼容特性
信号完整性优异,每条通道速度最高可达128 Gb/s,可实现512 GB/s PCIe系统
IDE安全防护,包括数据机密性、完整性和重放保护,可有效应对硬件级攻击
内置协议检查,提供多种控制器与PHY配置,以便通过新思科技验证IP来加速验证收敛
SoC验证套件,可提高IP集成的健全性并降低从IP转移到SoC的集成风险
经得起未来考验的AI基础结构
对处在创新前沿的公司而言,与值得信赖的PCIe 7.0 IP供应商合作不仅是一项明智的选择,更是一条必由之路。这项新技术将为下一代AI发展提供所需的性能、安全性和可扩展性,从而让设计能够应对日益复杂且不断增长的AI工作负载需求。