2682
作者：畅秋
从2023上半年开始，英伟达的AI服务器用GPU（特别是H100）就供不应求了，这种状况一直持续到今天。之所以如此，问题出在生产环节，主要涉及台积电的先进制程和封装产能，特别是CoWoS封装，市场上具备这种先进封装量产能力的厂商并不多，而台积电没有预料到市场对英伟达GPU的需求增长爆发力如此之强，在2023年第二季度才开始大规模扩增CoWoS产能。
近期，市场传来了一个好消息，瑞银（UBS）的最新报告显示，英伟达大幅缩短了AI GPU的交货周期，从2023年底的8~11个月缩短到了现在的3-4个月。这对英伟达客户来说是非常利好的。
CoWoS封装产能是关键
交货时间缩短，表明台积电扩增的CoWoS封装产能开始释放。据悉，台积电要在2024年底前将相关产能从2023年中的水平增加一倍，从目前的情况来看，台积电及其合作伙伴的CoWoS产能扩增进展快于预期，使得以H100为代表的高性能GPU交货时间大幅缩短。
产业人士分析，从2023年7月到年底，台积电积极调整CoWoS封装产能，已逐步扩充并稳定量产，去年12月，台积电CoWoS月产能增加到1.4万~1.5万片。
虽然台积电在积极扩产，但只这一家的产能还是无法满足市场需求，因此，英伟达已经在2023年向台积电以外的专业封测代工厂（OSAT）寻求帮助，主要包括日月光和安靠（Amkor），其中，安靠在2023年第四季度已开始提供相关产能，日月光投控旗下矽品也于2024年第一季度开始供应CoWoS封装产能。
2024年，AI芯片用先进封装产能依然会供不应求，包括台积电、日月光、安靠、力成、京元电在内的专业封测代工厂，将会在今年扩大资本支出，以布局先进封装产能。
根据台积电的扩产节奏，预计到今年第四季度，该晶圆代工龙头的CoWoS月产能将大幅扩充到3.3万~3.5万片。
今年，日月光的资本支出规模将同比增长40%~50%，其中，65%的投资用于封装，特别是先进封装项目。日月光投控营运长吴田玉表示，今年的先进封装与测试营收占比会更高，AI相关先进封装收入将翻倍，今年相关营收至少增加2.5亿美元。力成也在扩大先进封装产能，该公司董事长蔡笃恭表示，下半年将积极扩大资本支出，规模有望达到100亿元新台币。力成主要布局扇出型基板封装（fan out on substrate）技术，整合ASIC和HBM先进封装，在AI用HBM内存方面，力成有望在今年第四季度量产相关产品。为满足CoWoS封装后的晶圆测试需求，今年，京元电相关晶圆测试产能将扩充两倍。
竞争对手雪上加霜
近些年，全球AI核心处理器市场几乎被英伟达GPU垄断，此次，该公司供货能力进一步提升，对于各家竞争对手来说，真是雪上加霜，有些厂商的日子更难过了，特别是一些对标英伟达产品的创业公司，有的已经接近倒闭。
据The Information统计，在北美地区，至少有12家AI芯片创业公司想从英伟达独享的生成式AI算力红利中分一杯羹。在这些创业公司中，创办时间最长的不超过8年，有5家都是2022年创办的，有4家创始成员有谷歌背景。
这12家AI芯片创业公司，有的定位做训练，有的主攻推理，有些则更进一步，将其产品定位瞄准特定类型的AI模型。推理一直是更受欢迎的选择，因为很多客户使用或微调已经被训练过的模型，而不是从头开始构建一个新模型。AI芯片创业公司d-Matrix、Etched.ai、Extropic、SiMa.ai、Groq正在构建专门用于某些模型架构的芯片，如为OpenAI和Anthropic的大语言模型提供动力的Transformer。这些公司认为，专用芯片比英伟达、Cerebras、Lightmatter、Rain AI、Tenstorrent等的通用芯片更快、效率更高。
还有几家创业公司正在开发新GPU技术和产品，包括专用的AI加速器和针对特定应用优化的定制芯片。如果这些创业公司的技术被证明优于老牌企业，他们可能会成为颠覆者，但是，从过去几年的技术和产品发展情况来看，短时间内，要想颠覆英伟达的产品和生态系统，难度非常大，已经有几家公司支撑不住了，由于它们开发的新技术和产品很难在市场上销售出去，导致资金链非常紧张。
以英国的Graphcore为例，该公司正在考虑出售给外国买家，据媒报道，Graphcore一直在与主要科技公司进行谈判，因为它正在寻求资金来弥补日益增长的亏空。2023年，Graphcore就曾表示，在销售额下降46%且亏损增加后，它需要新的资金。
中国市场紧迫感增加
目前，全球AI市场用到的GPU，先进且用量最大的是H100，但该产品在巨大的中国大陆市场难以实现大规模销售。对于英伟达来说，产能问题的解决，可以实现更多订单，对于中国大陆市场来说，全球市场GPU供应量的增加，会进一步增加本土AI服务器和应用企业的紧迫感，因为全球AI应用水平会随GPU供应量的大幅增加而提升进步速度，在类似于H100这样的主芯片供应受限的情况下，中国市场必须另谋出路，才能保证本土市场AI服务器系统和应用水平不掉队。
在A800和H800芯片被禁售以后，英伟达又为中国大陆市场提供了新的方案——H20、L20和L2。但是，在目前这种情况下，中国客户是否愿意大规模采用英伟达这些降级版本AI芯片呢？
据报道，自2023年11月以来，阿里巴巴和腾讯等互联网大厂一直在测试英伟达降级版本芯片，这些中国企业已经向英伟达表示，他们计划在2024年订购的芯片数量将大大低于他们最初的计划。测试人员强调，与英伟达常规GPU相比，需要更多的H20芯片来抵消性能差异，从而导致费用大幅增加。基于此，中国本土设计制造的相关芯片对买家更具吸引力，阿里巴巴和腾讯等企业正在将更多订单转移到本土芯片供应商。
这种采购行为的转变在包括百度和字节跳动在内的其它主要芯片买家中也很明显。据TrendForce统计，中国云计算公司使用的高端AI芯片中，约有80%来自英伟达，但这一比例在未来5年内可能会下降至50%~60%。
与此同时，百度和阿里巴巴等中国CSP也在积极投资自研AI芯片。
百度于2020年推出了首款自研的AI芯片昆仑芯，并在2021年推出第二代，计划在2024年推出第三代。在收购中天微并成立T-Head Semiconductor（平头哥）后，阿里巴巴也开始设计AI芯片，代表产品是含光800。虽然T-Head最初与外部公司合作进行ASIC芯片设计，但从2023年开始，阿里巴巴将主要依赖内部资源来加强其下一代ASIC芯片设计，特别是阿里云的AI基础设施。
近些年，华为、寒武纪、天数智芯等中国本土企业也在潜心研究高性能AI芯片，产品力不断升级。以华为昇腾910为例，该款芯片采用7nm制程，集成了超496亿个晶体管，可以提供320TFLOPS的FP16计算速度或640TOPS的INT8算力，略高于英伟达A100的FP16计算速度（312TFLOPS，不采用英伟达稀疏技术）。
AI服务器生产和代工的商机
从目前的发展情况来看，2024年，AI服务器和相关系统将会加快组装、生产和应用节奏，TrendForce认为，2024年，全球AI服务器数量将超过160万台（包含采用高端GPU的AI训练服务器，以及采用中低端GPU、FPGA、ASIC的AI推理服务器），同比增长40%，这将为相关芯片和电子制造代工业务（EMS）带来更多商机，特别是中国台湾和中国大陆相关厂商，有更多可以挖掘的市场空间。
目前，各大云服务提供商正在竞相布局LLM与生成式AI应用，如Google的Gemini，Amazon也在训练新的LLM。预计中小语言模型会是2024年新兴竞争领域，许多更为定制化、符合运算效率的模型将陆续出现，例如Llama-2、Microsoft Phi-2、Google Gemini Nano 2等。而随着英伟达GPU供应能力的提升，这些AI应用面市的速度会加快，对相关服务器生产和代工的需求也会提升。
近期，中国台湾AI服务器供应链高度关注AI芯片供应状况的变化。供应链人士表示，鸿海是英伟达板卡主要供应商，也是HGX、DGX等服务器平台供应商，市占率超过70%，许多产品甚至独家供应。鸿海董事长刘扬伟先前公开表示，鸿海AI服务器业务接单状况相当好。
广达同样看好今年AI服务器出货，该公司预期，如果AI芯片供货缓解，最快5月起，AI服务器出货量将明显提升，下半年将进入出货爆发期，今年AI服务器营收增长幅度将达到两位数百分比。
据悉，纬创手握英伟达CoWoS AI芯片基板85%订单，也是AMD和英特尔AI芯片模组、基板的独家供应商。纬创表示，今年AI相关营收增长幅度将达到三位数百分比。
在中国大陆，AI服务器出货量也在快速增长。中商产业研究院发布的《2022-2027年中国服务器行业需求预测及发展趋势前瞻报告》显示，2022年，AI服务器市场出货量约28.4万台，同比增长25.66%，2023年约为35.4万台。中商产业研究院分析师预测，2024年，中国大陆AI服务器出货量将达到42.1万台。
从全球市场来看，AI服务器TOP10厂商中，中国大陆厂商占据4席，其中，浪潮信息是本土最大AI服务器厂商。在中国大陆市场，AI服务器市场集中度较高，排名前三的厂商为浪潮信息、宁畅和华为，这三家的市占率总和达70.40%。另外，新华三的产品也值得关注。
浪潮的代表产品是NF5688M6，它是为超大规模数据中心研发的NVLink AI服务器，支持2个英特尔Ice Lake CPU和8个英伟达A800 GPU，单机可提供5PFlops的AI计算性能。对比核心硬件来看，NF5688M6采用英伟达中国特供版芯片A800，在浮点计算能力、显存带宽、显存容量等性能指标上，与先进算力芯片A100基本一致，主要差异在于芯片的数据传输速度，约为A100的三分之二。
华为的AI服务器融合了自研加速卡和英特尔CPU，代表产品是Atlas 800推理服务器系列，旗下有型号3000、3010、9000和9010，其中，3000基于昇腾310芯片，3010基于英特尔CPU，9000基于华为鲲鹏920+昇腾910处理器，9010基于英特尔CPU+华为昇腾910芯片。产品最高拥有2.24 PFLOPS FP16的算力。
新华三的AI服务器可覆盖各种训练负载要求，代表产品包括R4900 G5、R5300 G5、R5500 G5等，可分别针对不同训练负载要求，满足大小规模的推理/训练任务。软件层面，该公司通过新华三傲飞AI/HPC融合管理平台，提升AI作业效率约32%。
结语
2024年，无论是AI芯片提供商，还是AI服务器生产和代工厂商，都将迎来更广阔的商机。
芯片方面，英伟达凭借AI用GPU的火爆，已经赚得盆满钵满。在制造方面，以台积电为代表的晶圆代工厂和封测厂大力扩增先进封装产能，将在2024年得到回报。
在AI服务器生产和代工方面，相关厂商更是商机无限。一般来说，通用服务器的价格是几千美金/台，AI服务器的价格则达到10-15万美金/台，价格提升了将近20倍，在供不应求的当下，这么高的售价还不一定能拿到货。
高端AI服务器的价格就更夸张了，据悉，搭载英伟达A800的AI服务器价格已经从120万元/台涨到了140多万元/台，搭载8个H800的AI服务器价格已经涨到了280万元/台。
下载ECAD模型
