加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

英伟达H200带宽狂飙!HBM3e/HBM3时代即将来临

2023/11/15
2354
阅读需 7 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

当地时间11月13日,英伟达NVIDIA)宣布推出NVIDIA HGX™ H200,旨为世界领先的AI计算平台提供强大动力,将于2024年第二季度开始在全球系统制造商和云服务提供商处提供。

H200输出速度约H100的两倍

据介绍,NVIDIA H200是基于NVIDIA Hopper™架构,配备具有高级内存的NVIDIA H200 Tensor Core GPU,可处理海量数据,用于生成式AI和高性能计算工作负载。

与H100相比,NVIDIA H200对Llama2模型的推理速度几乎翻倍。据悉,基于Meta的Llama 2大模型的测试表明,H200的输出速度大约是H100的两倍。

英伟达表示,H200还能与已支援H100的系统相容。也就是说,已经使用先前模型进行训练的AI公司将无需更改其服务器系统或软件即可使用新版本。英伟达服务器制造伙伴包括永擎、华硕、戴尔、Eviden、技嘉、HPE、鸿佰、联想、云达、美超微、纬创资通以及纬颖科技,均可以使用H200更新现有系统,而亚马逊、Google、微软、甲骨文等将成为首批采用H200的云端服务商。

不过,英伟达暂时并未透露该产品价格。据国外媒体《CNBC》报道,英伟达上一代H100价格估计为每个2.5万美元至4万美元。英伟达发言人Kristin Uchiyama透露称,最终定价将由NVIDIA制造伙伴制定。

随着ChatGPT等推动AI应用发展,NVIDIA芯片被视为高效处理大量资料和训练大型语言模型的关键芯片,当下市场供不应求,产量问题成为业界关注的重点。

据《金融时报》8月报道指出,NVIDIA计划在2024年将H100产量成长三倍,产量目标将从2023年约50万个增加至2024年200万个。

关于H200的推出是否会影响上一代H100的生产,Kristin Uchiyama指出,未来全年的整体供应量还将有所增加。

HBM3e/HBM3时代将至

值得一提的是,此次英伟达发布的H200是首次采用HBM3e存储器规格,使GPU存储器带宽从H100的每秒3.35TB提高至4.8TB,提高1.4倍,存储器总容量也从H100的80GB提高至141GB,容量提高1.8倍。

此外,据媒体引述业内人士称,三星电子计划从明年1月开始向英伟达供应高带宽内存HBM3,HBM3将被应用在英伟达的图形处理单元(GPU)上。

“整合更快、更广泛的HBM存储器有助于对运算要求较高的任务提升性能,包括生成式AI模型和高性能运算应用程式,同时优化GPU使用率和效率”英伟达高性能运算产品副总裁Ian Buck表示。

近年来,AI服务器需求热潮带动了AI加速芯片需求,其中高频宽存储器——HBM,成为加速芯片上的关键性DRAM产品。以规格而言,据TrendForce集邦咨询研究指出,当前HBM市场主流为HBM2e,包含NVIDIA A100/A800、AMD MI200以及多数CSPs自研加速芯片皆以此规格设计。同时,为顺应AI加速器芯片需求演进,各原厂计划于2024年推出新产品HBM3e,预期HBM3与HBM3e将成为明年市场主流。

近期,三星、美光等存储大厂正在不断加快扩产步伐。据此前媒体报道,为了扩大HBM产能,三星已收购三星显示(Samsung Display)韩国天安厂区内部分建筑及设备,用于HBM生产。三星计划在天安厂建立一条新封装线,用于大规模生产HBM,该公司已花费105亿韩元购买上述建筑和设备等,预计追加投资7000亿-1万亿韩元。

而美光科技位于台湾地区的台中四厂于11月初正式启用。美光表示,台中四厂将整合先进探测与封装测试功能,量产HBM3E及其他产品,从而满足人工智能数据中心边缘计算及云端等各类应用日益增长的需求。该公司计划于2024年初开始大量出货HBM3E。

从HBM不同世代需求比重来看,据TrendForce集邦咨询表示,2023年主流需求自HBM2e转往HBM3,需求比重分别预估约是50%及39%。随着使用HBM3的加速芯片陆续放量,2024年市场需求将大幅转往HBM3,而2024年将直接超越HBM2e,比重预估达60%,且受惠于其更高的平均销售单价(ASP),将带动明年HBM营收显著成长。

TrendForce集邦咨询此前预估,由于HBM3平均销售单价远高于HBM2e与HBM2,故将助力原厂HBM领域营收,可望进一步带动2024年整体HBM营收至89亿美元,年增127%。

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
STM32H743ZIT6 1 STMicroelectronics High-performance and DSP with DP-FPU, Arm Cortex-M7 MCU with 2MBytes of Flash memory, 1MB RAM, 480 MHz CPU, Art Accelerator, L1 cache, external memory interface, large set of peripherals

ECAD模型

下载ECAD模型
$22.21 查看
MKL02Z32CAF4R 1 Freescale Semiconductor Kinetis L 32-bit MCU, ARM Cortex-M0+ core, 32KB Flash, 48MHz, WL-CSP 20

ECAD模型

下载ECAD模型
$2.7 查看
MCP23017-E/SS 1 Microchip Technology Inc 16 I/O, PIA-GENERAL PURPOSE, PDSO28, 5.30 MM, PLASTIC, SSOP-28

ECAD模型

下载ECAD模型
$1.69 查看
英伟达

英伟达

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。收起

查看更多

相关推荐

电子产业图谱

DRAMeXchange(全球半导体观察)官方订阅号,专注于半导体晶圆代工、IC设计、IC封测、DRAM、NAND Flash、SSD、移动装置、PC相关零组件等产业,致力于提供半导体产业资讯、行情报价、市场趋势、产业数据、研究报告等。