3561
作者 | 方文三
在英伟达一步步站稳万亿市值的道路上，少不了两项关键技术支持：台积电主导的CoWoS高端封装和头部存储厂持续迭代的HBM（高带宽存储）。
英伟达想赚钱，还得看台积电和SK海力士的脸色行事。
HBM内存：供应短缺的罪魁祸首之一
从面积占比的角度看，英伟达在H100芯片中所占的部分大约只有50%。
观察芯片的剖面图，可以发现H100裸片在核心位置，而其两侧各有三个HBM堆栈，它们的面积总和与H100裸片相当。
而这六颗看似普通的内存芯片，正是导致H100供应短缺的重要因素之一。
目前，SK海力士在HBM市场中占据了50%的份额，并独家向英伟达提供HBM3E产品。
这种独家供应的情况严重制约了H100的出货量：在需求急剧增加的情况下，据说SK海力士已制定了一项产能翻番的目标，并已着手进行产线扩建。
尽管三星和美光等其他厂商也对HBM3E表示出浓厚的兴趣，但在半导体行业中，产线的扩建并不是一项可以轻易完成的任务。
按照乐观的估计，需要9至12个月的时间，HBM3E的产能才能得到充分提升。因此，至少要到明年第二季度，才能看到HBM3E产能得到补充。
除此之外，即使解决了HBM的产能问题，H100的供应量仍受制于台积电的表现。
HBM的主要挑战是封装和堆叠存储器
HBM是垂直堆叠DRAM芯片，通过硅通孔（TSV）连接，并使用TCB键合（未来需要更高的堆叠数量）。
人工智能加速器的性能受到从内存中存储和检索训练和推理数据的能力的瓶颈：这个问题通常被称为内存墙。
为了解决这个问题，领先的数据中心GPU与高带宽内存（HBM）共同打包。
SK海力士公司于2022年6月开始生产HBM 3，目前是唯一一家批量交付HBM 3的供应商，市场份额超过95%，这是大多数H 100 SKU正在使用的产品。
HBM的主要挑战是封装和堆叠存储器，这是SK海力士所擅长的，积累了最强的工艺流程知识。
HBM和CoWoS是相辅相成的
HBM的高焊盘数量和短迹线长度需求，需要通过2.5D先进封装技术如CoWoS来实现。
CoWoS是一种主流封装技术，能够以合理的成本提供最高的互连密度和最大的封装尺寸。
然而，目前几乎所有的HBM系统都封装在CoWos上，而所有先进的人工智能加速器都使用HBM，因此几乎所有领先的数据中心GPU都是台积电封装在CoWos上的。
随着GPU需求的爆炸式增长，供应链中的这些部分无法跟上并成为GPU供应的瓶颈。
为了满足更多的封装需求，台积电一直在做好准备，但可能没有预料到这一波生成式人工智能需求来得如此之快。
在6月份，台积电宣布在竹南开设先进后端晶圆厂6。该晶圆厂占地14.3公顷，足以容纳每年100万片晶圆的3DFabric产能。
然而，与客户产品之间的配合沟通调试，如何更好地与GPU、NPU这类芯片匹配，实现更大带宽和更好能效，才是HBM技术的关键竞争力所在。
CoWoS封装：成了英伟达唯一的选择
但实际上，每颗H100给台积电带来的收入很可能超过1000美元，原因就在于H100采用了台积电的CoWoS封装技术，通过封装带来的收入高达723美元。
台积电的CoW区别于其他先进封装的亮点在于，是将裸片和堆栈放在一个硅中介层（本质是一块晶圆）上，在中介层中做互联通道，实现裸片和堆栈的通信。
考虑到带宽与数据传输速率息息相关，CoWoS便成了H100的唯一选择。
虽然CoWoS效果逆天，但4000-6000美元/片的天价还是拦住了不少人，其中就包括富可敌国的苹果。因此，台积电预备的产能相当有限。
然而，AI浪潮突然爆发，供需平衡瞬间被打破。
但正如HBM扩产不易，台积电扩产也需要时间。
目前，部分封装设备、零组件交期在3-6个月不等，到年底前，新产能能开出多少仍是未知。
2023年英伟达H100预计出货量在50万颗，但英伟达计划明年出货至少150万颗H100处理器。
英伟达的H100、A100全部由台积电代工，并使用台积电的CoWoS先进封装技术，除了英伟达外，其他厂商也对台积电的CoWoS有需求，为此CoWoS产能供不应求。
CoWoS产能不足的背景下，依靠CoWoS封装的H100，自然被台积电扼住了咽喉。
结尾：
正如远水无法解近火之急，扩大产能并不存在捷径。
就英伟达的竞争者而言，他们正在抓住H100所拥有的43.2万张的缺口。AMD公司已推出MI300，对A100和H100提出了挑战。
部分资料参考：
21世纪经济报道：《英伟达身后的较量》，远川科技评论：《谁卡了英伟达的脖子?》
下载ECAD模型
