ChatGPT背后的算力杀手锏

微软如何将大规模AI训练镶在云计算的DNA里？

为了向人工智能（AI）初创公司OpenAI的前沿研究提供支持，微软三年前为OpenAI打造了一台由数万个A100 GPU组成的大型AI超级计算机，成本或超过数亿美元。微软还在60多个数据中心总共部署了几十万个推理GPU。

据微软Azure云业务的高管透露，爆火的OpenAI聊天机器人 ChatGPT正是由这个AI超级计算机提供支持。当前微软正在打造更大、更复杂的超级计算机，为新模型训练和运行提供支持。

微软还在本周一宣布基于NVIDIA最新旗舰芯片H100 GPU和NVIDIA Quantum-2 InfiniBand网络互连技术，推出Azure最强大、可大规模扩展的AI虚拟机系列，以显著加速AI模型的开发。

微软对AI基础设施的芯片及前沿技术布局，对于应对大模型与生成式AI应用热潮、为更大规模的模型训练与部署提供算力支撑颇具参考价值。

ChatGPT成功背后的算力功臣：成本或超数亿美元

微软在2019年向OpenAI投资10亿美元时，同意为OpenAI建造一台大型顶尖超级计算机。当时，微软并不确定在其Azure云服务中构建这么大的东西，会不会对Azure本身造成影响。

OpenAI试图训练更多需要学习海量数据、拥有超大参数规模的AI模型，需要长期访问强大的云计算服务。为了应对这一挑战，微软必须想方设法将数万个NVIDIA A100 GPU串在一起，并改变其在机架上放置服务器的方式，以防止断电。

负责云计算和人工智能的微软执行副总裁Scott Guthrie不愿透露该项目的具体成本，但表示“可能大于”数亿美元。

训练大型AI模型需要在一个地方连接大量连接的GPU，就像微软组装的AI超级计算机一样。

据微软Azure AI基础设施总经理Nidhi Chappell介绍，微软构建了一个可在非常大的范围内运行且可靠的系统架构，这就是让ChatGPT成为可能的原因。OpenAI总裁兼联合创始人说，与Azure共同设计超级计算机对于扩展苛刻的AI训练需求至关重要，使得OpenAI能在ChatGPT等系统上开展研究和调整工作。

现在，微软使用它为OpenAI构建的同一组资源来训练和运行自己的大型AI模型，包括上个月发布的新版Bing搜索机器人。

微软还将系统出售给其他客户，并已经在开发下一代AI超级计算机，这是它与OpenAI扩大交易、追加数十亿美元投资的一部分。

值得注意的是，AI超级计算机虽然是专为OpenAI打造的，但微软并没有把它设计成只能供一家企业使用的定制化设施。

“我们并没有将它们构建成定制的东西——它最初是作为定制的东西，但我们总是以一种通用化的方式来构建它，这样任何想要训练大型语言模型的人都可以利用同样的改进。”Guthrie在接受采访时说，“这确实帮助我们成为更广泛的AI云。”

除此之外，微软还部署了用于推理的GPU，这些处理器共有数十万个，分布在其60多个数据中心区域。

H100 GPU+先进网络互连为生成式AI做好准备

微软周一宣布推出Azure最强大、可大规模扩展的AI虚拟机系列ND H100 v5 VM，支持从8到数千个NVIDIA H100 GPU，这些GPU通过NVIDIA Quantum-2 InfiniBand网络互连，能够显著提高AI模型计算速度。一些创新技术包括：

生成式AI应用正在迅速发展，微软对自己的AI基础设施非常有信心。微软Azure HPC+AI首席产品经理Matt Vegas说，大规模AI内置于Azure的DNA里，微软最初投资Turing等大型语言模型研究，并实现了在云上构建第一台AI超级计算机等工程里程碑，为生成式AI成为可能做好了准备。

在AI超级计算机的支撑下，微软一方面可以通过Azure服务直接为客户提供训练模型所需的资源，也可以通过Azure OpenAI服务让更广泛的客户用到大规模生成式AI模型的能力。也就是说，中小型公司可以通过获取云服务来解决算力资源不足的问题，不需要进行大量物理硬件或软件投资。

算力是一场持久仗。新版Bing仍处于预览阶段，微软逐渐从候补名单中添加更多用户。Guthrie的团队每天与大约20名随时准备修补bug的员工召开会议。该小组的工作是弄清楚如何使更多的计算能力快速上线，以及解决突然出现的问题。

当OpenAI或微软训练大型AI模型时，工作是一次性完成的。它分布在所有GPU上，在某些时候，这些单元需要在高吞吐量、低延迟网络中相互通信和共享工作。

对于AI超级计算机，微软已确保处理所有芯片之间通信的网络设备能够处理该负载，并且它必须开发能够充分利用GPU和网络设备的软件。微软已开发出可训练具有数万亿参数的模型的软件。

由于所有机器同时启动，微软不得不考虑它们如何放置以及电源的位置。Guthrie打了个比方，如果不做这些权衡，你在数据中心遇到的情况就好比你在厨房同时打开微波炉、烤面包机和真空吸尘器时会遇到的状况。

Azure全球基础设施总监Alistair Speirs谈道，微软还必须确保它能够冷却所有机器和芯片。Guthrie说，微软将继续致力于定制服务器和芯片设计以及优化其供应链的方法，以尽可能地提高速度、效率和成本。

云服务依赖于数以千计的不同部件和项目，任何一个组件的延迟或供应短缺，都可能导致一切失败。最近，维修人员不得不应对电缆托盘短缺的问题。这种类似篮子的装置用来固定从机器上掉下来的电缆。因此他们设计了一种新的电缆桥架，微软可以自行制造或从某处购买。Guthrie说，他们还研究了如何压缩全球现有数据中心中尽可能多的服务器，这样就不必等待新建筑。