886
借助 NVIDIA DGX SuperPOD，京东探索研究院训练了参数量近五十亿的 Vega-MT 模型，在 2022 年第 17 届国际机器翻译大赛（WMT）上大放异彩。Vega-MT 在中文-英语（BLEU 33.5, chrF 0.611）、英文-中文（BLEU 49.7, chrF 0.446）、德语-英语（BLEU 33.7, chrF 0.585）、英语-德语（BLEU 37.8, chrF 0.643）、捷克语-英语（BLEU 54.9, chrF 0.744）、英语-捷克语（BLEU 41.4, chrF 0.651）和英语-俄罗斯语（BLEU 32.7, chrF 0.584）在七个翻译赛道上荣获冠军。
作为大规模 AI 基础架构，NVIDIA DGX SuperPOD 具备完整、先进的基础架构。相较于原来的 V100 集群，DGX SuperPOD 除了在单卡算力上取得了接近两倍的提升外，在算力扩展性方面也呈线性增长，即扩展性方面相较于从前也取得了两倍的提升。在多节点的情况下总计获得了约 4 倍的提升。因此，原本需要数月才能完成类似模型（相当规模、相当复杂度）的训练任务缩短到了两周，研究人员也有了更充裕的时间针对模型优化。
客户简介及应用背景
京东作为以供应链为基础的技术与服务企业。京东探索研究院（JD Explore Academy）秉承“以技术为本，致力于更高效和可持续的世界”的集团使命，是以京东集团以各事业群与业务单元的技术发展为基础，集合全集团资源和能力，成立的专注前沿科技探索的研发部门，是实现研究和协同创新的生态平台。探索研究院深耕泛人工智能 3 大领域，包括“量子机器学习”、“可信人工智能”、“超级深度学习”，从基础理论层面实现颠覆式创新，助力数智化产业发展及社会变革，以原创性科技赋能京东集团零售、物流、健康、科技等全产业链场景，打造源头性科技高地，实现从量变到质变的跨越式发展，引领行业砥砺前行。
国际机器翻译大赛（WMT）是全球学术界公认的国际顶级机器翻译比赛，由国际计算语言学协会（ACL）举办，是协会旗下的顶尖赛事。自 2006 年至今，WMT 的每次比赛都是全球各大高校、科技公司与学术机构展示自身机器翻译实力的平台，更见证了机器翻译技术的不断进步。
京东探索研究院在 WMT 大赛上这一重大成就进一步验证了自然语言处理大模型在理解、生成、跨语种建模上的优越性。
客户挑战
机器翻译面临诸多挑战：常见的几个语种使用广泛数据资源丰富，小语种在跨境电商中非常必要但数据不充分，小数据集的训练面临挑战；同时，挖掘语种与语种的联系也是难点之一，因为语言生成的复杂性、多义性，表达的多样性、文化背景，语种之间的差异等都是机器翻译比赛中绕不开的难题。
从 2018 年的 GPT-1 的 1.1 亿参数，到现今大规模语言模型拥有万亿参数，大模型在多种语言任务上准确率的显著提高，有助于我们构建对自然语言有着更加丰富理解的智能系统。
Vega-MT 采用了诸多先进技术，包括多方向预训练（multidirectional pre-training）、超大模型（Extremely Large Transformer）、循环翻译（cycle translation）和双向自训练（bidirectional self-training），来充分挖掘双语数据、单语数据的知识。此外，还使用了噪声信道重排序和泛化性微调等策略来增强 Vega-MT 系统的鲁棒性和译文的信达雅水平。
但是，在训练大模型时，我们依然会面临诸多困难。在此之前对于一般任务一张 GPU 即可胜任模型的训练，但是在大模型场景，需要多节点协同才能完成最终的训练任务，这也对现有的 GPU 计算集群提出了新的挑战。以知名的 GPT-3 为例，它使用了 45 TB 的训练数据，最高达到 1750 亿的模型参数量；在采用混合精度时，它共占用约 2.8 TB 的显存，需要超过 35 张 GPU 才能将模型全部放下。
因此，训练的挑战集中在单卡算力和多卡多节点通信上，训练也会跨越多个节点。此时数据传输、任务调度、并行优化、资源利用率等方面就显得尤为重要。
应用方案
在构建 AI 基础架构时，我们会面临来自方方面面的挑战，例如计算资源，网络，存储，乃至最上层用来进行任务调度的软件等，而这些方面并非独立，需要综合考量。
京东探索研究院采用的 NVIDIA DGX SuperPOD 就是一套综合完整的高性能解决方案。SuperPOD AI 集群，基于 DGX 服务器，HDR InfiniBand 200G 网卡以及 NVIDIA Quantum QM8790 交换机，计算网络和储存网络隔离，既保证了最优的算力，又可以确保节点和卡之间的高效互联，最大程度提升分布式训练的效率。
算力层面，单节点算力高达 2.4 PFLOPS，采用单节点进行训练，BERT 只需 17 分钟即可完成训练，Mask R-CNN 38 分钟，RetinaNet 也只需 83 分钟。而针对于 Transformer XL Base，181 分钟即可完成训练。同时，依托于多实例 GPU（Multi-Instance GPU, MIG）技术，可以将 GPU 分割成多个实例，每个实例都有其独立的显存，缓存以及流式多处理器，彼此之间故障隔离。这样一来可以进一步提升 GPU 的利用率，同时满足需要不同算力的任务。
网络层面，通过 Scalable Hierarchical Aggregation and Reduction Protocol（SHARP）技术，可以让聚合计算从 CPU 迁移到交换机网络，消除了节点之间多次发送数据的需求，大幅缩减了到达聚合节点的网络流量，从而显著减少执行 MPI 的时间，同时让通信效率与节点数目不再直接相关，进一步保障了算力的可扩展性。除此之外，将 CPU 从处理通信的任务中解脱出来，让宝贵的 CPU 资源聚焦于计算上，进一步提升了整体集群处理任务的能力。
储存层面，在训练模型时，往往需要从存储中多次读取训练数据，而读取操作的耗时也会在一定程度上影响训练的时效。DGX SuperPOD 使用了高性能的多层级储存架构，以平衡性能、容量和成本的需求。而借助于 GPU Direct RDMA 技术，可以绕过 CPU 直接连通 GPU，储存和网络设备，从而进行高速低时延的数据传输。
软件层面，为了构建集群以及保障集群的持久化平稳运行，上层的监控调度管理软件不可或缺。Base Command Manager 是一个集群管理系统，它可以对集群进行一系列的配置，管理用户访问，资源监控，记录日志，以及通过 slurm 进行作业任务调度。同时，NGC 上涵盖了大量 AI，HPC，数据科学相关的资源，用户可以轻松获取到功能强大的软件，容器镜像，以及各类预训练模型。
与此同时，探索研究院团队对集群进行了 7x24 小时的监控管理，确保训练任务长时间的平稳运行。监控资源利用率，也确保了每个节点上的计算资源能被充分地利用了起来。在完善的调度监控工作和 DGX SuperPOD 高可靠性的质量保证下，所有被使用到的训练节点在模型训练的 20 天（2 周 pre-training + 5天 fine-tuning）内，没有出现任何问题，训练最终圆满完成。
使用效果及影响
Vega-MT 被成功应用在了京东国庆期间对外发布的 Omni-Force AIGC 小程序中。小程序的应用是用户输入文字生成对应的图片，在 Vega-MT 的加持下，小程序可以支持多个语种的文字输入，譬如中文、英文、西班牙文等等。
京东探索研究院表示: “通过 NVIDIA DGX SuperPOD 的加持，京东探索研究院可以快速迭代模型，帮助高准确度的模型快速落地，进一步提升用户体验，降低成本，提升效果和业务收益。此次 NVIDIA DGX SuperPOD 支持我们能在 WMT 比赛中拔得头筹，不仅提高了企业的知名度，也助力了京东成为更受用户信赖的品牌”。
值得一提的是，除了 Vega-MT 外，NVIDIA DGX SuperPOD 也在探索研究院的其他大模型训练上发挥了不可或缺的作用，譬如 ViTAE，织女模型等。
图片来源于京东
