Supermicro基于NVIDIA GH200超级芯片的服务器平台借助紧密集成的CPU和GPU提高了AI工作负载的性能,并纳入了最新的DPU网络和通信技术
Supermicro,Inc. (纳斯达克股票代码:SMCI)为AI、云端、存储和 5G/边缘领域的全方位IT解决方案制造商,近日宣布推出业内目前最广泛的新型GPU系统组合之一。这些产品均基于英伟达(NVIDIA)参考架构,搭载了最新的NVIDIA GH200 Grace Hopper和NVIDIA Grace CPU超级芯片。这种新的模块化架构旨在通过紧凑的1U和2U规格将AI基础设施和加速计算标准化,同时面向当前及未来的GPU、DPU和CPU提供高灵活性和扩展度。Supermicro先进的液冷技术有助于实现非常高密度的硬件配置,例如搭载2颗NVIDIA GH200 Grace Hopper超级芯片的1U 2节点配置,两者借助高速互连技术整合在一起。Supermicro每月可通过全球的工厂交付数以千计的机架级AI服务器,并确保即插即用兼容性。
Supermicro总裁兼首席执行官梁见后(Charles Liang)表示:“Supermicro是推动当前AI革命的公认领先企业。我们助力数据中心转型,助力将AI用于各种工作负载内。对于我们来说,为快速发展的AI技术带来高度模块化、可扩展性和通用性的服务器系统至关重要。Supermicro基于NVIDIA MGX的解决方案不但证明我们的Building Block伺服器解决方案能使我们迅速将最新系统引进市场,也是产业中工作负载最佳化性能非常高的解决方案。通过携手英伟达,我们正助力加速合作企业产品上市时间,并助其在开发新AI应用程式的同时简化部署程序,降低对环境的影响。我们新推出的一系列服务器採用了针对AI最佳化的最新产业技术,包括NVIDIA GH200 Grace Hopper超级芯片、BlueField和PCIe 5.0 EDSFF插槽。”
英伟达超大规模和高性能计算副总裁Ian Buck表示:"英伟达和Supermicro长期以来一直在合作开发一些高性能的人工智能系统。NVIDIA MGX模块化参考设计与Supermicro的服务器专业技术相结合,将创造出採用我们Grace和Grace Hopper超级芯片的新一代人工智能系统,使全球客户和行业受益。”
Supermicro NVIDIA MGX平台总览
Supermicro的NVIDIA MGX平台旨在提供面向未来AI技术需求的一系列服务器。这条新产品线可以应对AI服务器独特的散热、功耗和硬件挑战。
新的Supermicro MGX系列服务器包括:
- ARS-111GL-NHR —— 1颗NVIDIA GH200 Grace Hopper超级芯片,风冷
- ARS-111GL-NHR-LCC —— 1颗NVIDIA GH200 Grace Hopper超级芯片,液冷
- ARS-111GL-DHNR-LCC —— 2颗NVIDIA GH200 Grace Hopper超级芯片,2个节点,液冷
- ARS-121L-DNR —— 2个节点,每个节点2颗NVIDIA Grace超级芯片,共288个内核
- ARS-221GL-NR —— 2U,1颗NVIDIA Grace CPU超级芯片
- SYS-221GE-NR —— 搭载双插槽的第4代Intel Xeon可扩展处理器,并可搭配最多4个NVIDIA H100 Tensor Core或4个NVIDIA PCIe GPU
每个 MGX 平台都可通过 NVIDIA BlueField®-3 DPU 和/或 NVIDIA ConnectX®-7 互连实现高性能 InfiniBand 或以太网联网。
硬件规格
Supermicro的1U NVIDIA MGX系统最多搭载2颗NVIDIA GH200 Grace Hopper超级芯片,共包含2个NVIDIA H100 GPU和2个NVIDIA Grace CPU。每个系统为CPU配备480GB的LPDDR5X内存,而为GPU配备96GB的HBM3内存或144GB的HBM3e内存。内存一致、高带宽、低时延的NVIDIA-C2C以900GB/s的速度将CPU、GPU和内存互连,是PCIe 5.0的7倍。该系统的模块化架构提供多个PCIe 5.0 x16 FHFL插槽,以连接用于云端和数据管理的DPU,并可进行额外的GPU、网络和存储硬件扩展。
具备2个NVIDIA GH200 Grace Hopper 超级芯片的1U 2节点设计及Supermicro成熟的Direct-to-Chip液冷解决方案可将运营成本降低40%以上,同时提高计算密度,并简化大型语言模型(LLM)集群和HPC应用的机架级部署。
2U机箱设计的Supermicro NVIDIA MGX平台支持NVIDIA Grace和x86架构的CPU,以及最多4个全尺寸数据中心GPU,如NVIDIA H100 PCIe、H100 NVL或L40S,并同时提供3个用于I/O连接的额外PCIe 5.0 x16插槽和8个热插拔EDSFF硬盘托架。
Supermicro提供NVIDIA网络技术,能保护并加速其 MGX 平台上的人工智能工作运行。这包括NVIDIA BlueField-3 DPU(提供 2x 200Gb/s 连接,用于加速用户到云和数据存储访问)和ConnectX-7 适配器(在 GPU 服务器之间提供最高 400Gb/s 的 InfiniBand 或以太网连接)的组合。
开发者可以快速透过这些新系统与NVIDIA软件服务来处理各种不同产业的工作负载。该软件服务包含NVIDIA AI Enterprise——一款的企业级软件,能够驱动NVIDIA AI平台并简化生产就绪的生成式人工智能、计算机视觉、语音人工智能等的开发和部署。此外,NVIDIA HPC 软件开发工具包提供了推动科学计算发展所需的基本工具。
从智能散热设计到组件选择,Supermicro NVIDIA MGX系统的方方面面均旨在提高效率。NVIDIA Grace超级芯片的CPU具有144个内核,每瓦性能高达当前行业标准x86 CPU的2倍。特定的Supermicro NVIDIA MGX系统可在1U机箱中配置2个节点,能够搭载具有最高共288个内核的2组Grace CPU超级芯片,可以在超大规模和边缘数据中心提供突破性的计算密度和能效。