ChatGPT聊天机器人已经从下游AI应用“火”到了上游的芯片领域,作为一款自然语言类AI应用,ChatGPT算力需求巨大,其发展离不开高性能计算芯片的支持,比如GPU。
此外,在AI算力中,内存技术也非常重要,比如HBM技术,受益于ChatGPT的火爆,正从幕后走向台前。
1、ChatGPT爆红提升HBM需求
近日,韩媒报道2023年开年后三星、SK海力士两家存储大厂HBM订单快速增加,价格也水涨船高,市场人士透露近期HBM3规格DRAM价格上涨5倍。
业界认为,ChatGPT的出现使得HBM市场需求提升,这有望为存储器市场带来了新的发展机会。
资料显示,HBM(High Bandwidth Memory,高带宽存储器)是一种可以实现高带宽的高附加值DRAM产品,与普通DRAM相比,HBM以堆叠方式实现更大带宽,带宽是指在特定单位时间内可以传输的数据量,基于该特性,HBM主要应用于高性能计算场景中,比如超级计算机、AI加速器、高性能服务器领域。
HBM在与CPU及GPU协同工作中,可以提高机器学习和计算性能。目前ChatGPT的火热发展已令英伟达等GPU厂商受益——ChatGPT使用了1万多个英伟达的“A100”GPU学习了庞大的文档数据。而HBM可以安装在GPU中,通过高速数据处理,不断完善ChatGTP服务体验,英伟达“A100”就最高配备了80GB HBM2内存。
此外,媒体报道英伟达已经要求存储厂商生产最新的HBM3内存,搭配英伟达的A100 GPU供ChatGPT使用。
2、HBM市场两大主流厂商介绍
目前HBM市场以SK海力士与三星为主,SK海力士HBM技术起步早,占据较大市场。
SK海力士
早在2014年SK海力士便与AMD联合开发了全球首款硅通孔(TSV, Through Silicon Via)HBM产品。
2018年SK海力士发布第二代HBM产品HBM2,容量为4GB/8GB,对比第一代新增多项增强型功能,比如伪通道模式优化内存访问并降低延迟,从而提高有效带宽。
2020年SK海力士发布HBM2的扩展版本HBM2E,容量为8GB/16GB,是HBM2的两倍,具有技术更先进、应用范围更广泛、速度更快、容量更大、散热性能更好等特点。
2021年10月SK海力士发布全球首款HBM3,容量是HBM2E的1.5倍,由12个DRAM芯片堆叠成,总封装高度相同,适用于AI、HPC等容量密集型应用,该产品已于2022年6月开始量产。
此外,SK海力士还在研发HBM4,预计新一代产品将能够更广泛地应用于高性能数据中心、超级计算机和人工智能等领域。
三星
三星HBM的布局从HBM2开始,2016年1月,三星宣布开始量产4GB HBM2 DRAM,同年三星生产8GB HBM2 DRAM。
2018年初三星开始投产第二代HBM2,代号为“Aquabolt”,单颗封装容量达8GB,带宽307GB/s。
2020年2月三星宣布推出HBM2E Flashbolt,与前一代8GB HBM2“Aquabolt”相比,16GB HBM2E Flashbolt容量翻倍,带宽增加至538GB/s,提升约1.75倍。
此外,2021年2月三星还与AMD合作开发HBM-PIM(processing-in-memory) ,将内存和AI处理器合而为一,在CPU和GPU安装HBM-PIM时,显著提高服务器运算速度。