全球首款 HBM3e 处理器提供突破性的内存和带宽;能够连接多个 GPU 以实现卓越的性能;采用易于扩展的服务器设计。
NVIDIA 于今日发布新一代 NVIDIA GH200 Grace Hopper™ 平台,该平台基于全球首款搭载 HBM3e 处理器的 Grace Hopper 超级芯片,专为加速计算和生成式 AI 时代而构建。
新平台专为处理大语言模型、推荐系统、矢量数据库等全球最复杂的生成式 AI 工作负载而构建,将提供多种配置选择。
该平台采用双配置——提供的内存容量和带宽比当前产品分别增加了 3.5 倍和 3 倍——包括一个拥有 144 个 Arm Neoverse 内核、8 petaflops 的 AI 性能和 282GB 最新 HBM3e 内存技术的单个服务器。
NVIDIA 创始人兼首席执行官黄仁勋表示:“为了满足对生成式 AI 不断激增的需求,数据中心需要能够满足特定需求的加速计算平台。全新 GH200 Grace Hopper 超级芯片平台以出色的内存技术和带宽,提高了吞吐量,在不影响性能的情况下可连接多 GPU 以整合性能,并且具有可以轻松部署到整个数据中心的服务器设计。”
新平台采用了 Grace Hopper 超级芯片,可以通过 NVIDIA NVLink™ 与其他超级芯片连接,使它们能够协同工作,从而部署当下大型生成式 AI 模型。这种高速、一致性技术使 GPU 可以完全访问 CPU 内存,在双配置中可提供总计 1.2TB 的快速内存。
HBM3e 内存比当前 HBM3 快 50%,可提供总计 10TB/s 的带宽。这使得新平台能够运行比上一版本大 3.5 倍的模型,同时凭借快 3 倍的内存带宽提升性能。
对 Grace Hopper 的需求不断增长
业界领先的制造商已在提供基于先前发布的 Grace Hopper 超级芯片所打造的系统。为了推动该技术的广泛应用,采用 HBM3e 的新一代 Grace Hopper 超级芯片平台与今年早些时候在 COMPUTEX 上发布的 NVIDIA MGX™ 服务器规格完全兼容。借助 MGX,任何系统制造商都可以快速、经济地将 Grace Hopper 添加到 100 多款服务器机型中。
供应情况
预计业界领先的系统制造商将于 2024 年第二季度开始交付搭载该平台的系统。