当地时间11月13日,英伟达(NVIDIA)宣布推出NVIDIA HGX™ H200,旨为世界领先的AI计算平台提供强大动力,将于2024年第二季度开始在全球系统制造商和云服务提供商处提供。
H200输出速度约H100的两倍
据介绍,NVIDIA H200是基于NVIDIA Hopper™架构,配备具有高级内存的NVIDIA H200 Tensor Core GPU,可处理海量数据,用于生成式AI和高性能计算工作负载。
与H100相比,NVIDIA H200对Llama2模型的推理速度几乎翻倍。据悉,基于Meta的Llama 2大模型的测试表明,H200的输出速度大约是H100的两倍。
英伟达表示,H200还能与已支援H100的系统相容。也就是说,已经使用先前模型进行训练的AI公司将无需更改其服务器系统或软件即可使用新版本。英伟达服务器制造伙伴包括永擎、华硕、戴尔、Eviden、技嘉、HPE、鸿佰、联想、云达、美超微、纬创资通以及纬颖科技,均可以使用H200更新现有系统,而亚马逊、Google、微软、甲骨文等将成为首批采用H200的云端服务商。
不过,英伟达暂时并未透露该产品价格。据国外媒体《CNBC》报道,英伟达上一代H100价格估计为每个2.5万美元至4万美元。英伟达发言人Kristin Uchiyama透露称,最终定价将由NVIDIA制造伙伴制定。
随着ChatGPT等推动AI应用发展,NVIDIA芯片被视为高效处理大量资料和训练大型语言模型的关键芯片,当下市场供不应求,产量问题成为业界关注的重点。
据《金融时报》8月报道指出,NVIDIA计划在2024年将H100产量成长三倍,产量目标将从2023年约50万个增加至2024年200万个。
关于H200的推出是否会影响上一代H100的生产,Kristin Uchiyama指出,未来全年的整体供应量还将有所增加。
HBM3e/HBM3时代将至
值得一提的是,此次英伟达发布的H200是首次采用HBM3e存储器规格,使GPU存储器带宽从H100的每秒3.35TB提高至4.8TB,提高1.4倍,存储器总容量也从H100的80GB提高至141GB,容量提高1.8倍。
此外,据媒体引述业内人士称,三星电子计划从明年1月开始向英伟达供应高带宽内存HBM3,HBM3将被应用在英伟达的图形处理单元(GPU)上。
“整合更快、更广泛的HBM存储器有助于对运算要求较高的任务提升性能,包括生成式AI模型和高性能运算应用程式,同时优化GPU使用率和效率”英伟达高性能运算产品副总裁Ian Buck表示。
近年来,AI服务器需求热潮带动了AI加速芯片需求,其中高频宽存储器——HBM,成为加速芯片上的关键性DRAM产品。以规格而言,据TrendForce集邦咨询研究指出,当前HBM市场主流为HBM2e,包含NVIDIA A100/A800、AMD MI200以及多数CSPs自研加速芯片皆以此规格设计。同时,为顺应AI加速器芯片需求演进,各原厂计划于2024年推出新产品HBM3e,预期HBM3与HBM3e将成为明年市场主流。
近期,三星、美光等存储大厂正在不断加快扩产步伐。据此前媒体报道,为了扩大HBM产能,三星已收购三星显示(Samsung Display)韩国天安厂区内部分建筑及设备,用于HBM生产。三星计划在天安厂建立一条新封装线,用于大规模生产HBM,该公司已花费105亿韩元购买上述建筑和设备等,预计追加投资7000亿-1万亿韩元。
而美光科技位于台湾地区的台中四厂于11月初正式启用。美光表示,台中四厂将整合先进探测与封装测试功能,量产HBM3E及其他产品,从而满足人工智能、数据中心、边缘计算及云端等各类应用日益增长的需求。该公司计划于2024年初开始大量出货HBM3E。
从HBM不同世代需求比重来看,据TrendForce集邦咨询表示,2023年主流需求自HBM2e转往HBM3,需求比重分别预估约是50%及39%。随着使用HBM3的加速芯片陆续放量,2024年市场需求将大幅转往HBM3,而2024年将直接超越HBM2e,比重预估达60%,且受惠于其更高的平均销售单价(ASP),将带动明年HBM营收显著成长。
TrendForce集邦咨询此前预估,由于HBM3平均销售单价远高于HBM2e与HBM2,故将助力原厂HBM领域营收,可望进一步带动2024年整体HBM营收至89亿美元,年增127%。