161
什么是NVIDIA LinkX？
NVIDIA LinkX是指英伟达提供的一系列网络连接解决方案，主要用于高性能计算（HPC）和数据中心环境。LinkX涵盖了多种产品，包括连接交换机、网卡等设备的线缆和光模块，支持从100Gb/s EDR（Enhanced Data Rate增强速率）到200Gb/s HDR（High-Dynamic Range高动态光照渲染）再到最新的400Gb/s NDR（Next Data Rate最新的速率）速率。适用于100G/ 200G/ 400G 和 800G 基础设施的 InfiniBand 和以太网互连。这个网络架构中的光模块、有源光缆和DAC堆叠线缆具有非常出色的低延时、低功耗和可靠性，适用于AI和加速计算。接下来我们重点看看400Gbps 100G-PAM4 OSFP 和 QSFP112 的线缆和光模块在这个网络解决方案中的连接是怎么样的？
连接方案概述
在高性能计算平台Quantum-2 InfiniBand、ConnectX-7网卡、高性能数据处理单元BlueField-3 DPU和为高性能计算和数据中心应用提供强大的支持的DGX™ H100 GPU 系统的 800Gb/s 和 400Gb/s 高速线缆和光模块连接方案中。其线缆连接方面包括最长3米的直连式线缆(DAC)、3米到5米的线性有源铜缆（ACC）、最长50米的多模光纤以及最长100米、500米和2公里的单模光纤。光模块方面：交换机端口可使用双端口八通道小型可插拔(OSFP）光模块；ConnectX-7有2种类型的封装，OSFP和QSFP112；BlueField-3数据处理单元的封装为QSFP112。
交换机、网卡、DPU适配的光模块封装是哪些？
在100G EDR系统和200G HDR系统中，交换机和网卡上适配的是QSFP28光模块和QSFP56光模块；在100G PAM4系统中，交换机、网卡、DPU等各自适用的光模块封装形式是不一样的。
InfiniBand NDR Quantum-2 QM9700交换机
这台交换机有32个端口，一个端口上可插入双端口顶部带散热片的2*400G光模块，称为双端口顶部散热OSFP端口。由于双端口OSFP光模块中有两个400G引擎，因此其总电口侧的数据速率为800Gb/s，也可以称为2x400G光模块。
ConnectX-7网卡：
CX7网卡上面的端口搭配的是平顶式400G单端口OSFP光模块或者是QSFP112、QSFP56、QSFP28封装形式的光模块。双端口顶部带散热片的光模块是不能用在CX7网卡和DPU上的，端口封装不匹配。
BlueField-3DPU:
DPU则仅可以插入QSFP112线缆和光模块，并且DPU可以兼容QSFP56和QSFP28光模块，但OSFP封装是不匹配的。
LinkX 100G-PAM4产品线概述
LinkX产品线包括直接连接铜线(DAC)、有源铜缆(ACC)，以及多模和单模光模块和分支跳线。
DAC
- 在100G-PAM4系统中，DAC堆叠线最长可以达到3米。它们具有接近零延迟和功耗小于1W的特征。
- 针对2米的DAC堆叠线，我们采用30AWG线号；针对小于3米的DAC堆叠线，我们采用26AWG线号。
- 通常可以做成800G直连线缆，800G分2*400G线缆，800G分4*200G线缆，分支端的封装可选OSFP或者是QSFP112。
ACC
- ACC线缆是DAC高速线缆的一种，是一种在线缆的接收端（Rx端）加入一定能力的线性Redriver来提供信号的均衡和整形的技术，他利用芯片来补偿无源铜缆DAC的高频损失，更像是通过放大拟信号的有源电缆。
- ACC线缆远传输距离可达5米
- 800G端为功耗小于1.5W，分支端为0.6W和0.35W，延迟极低。
- 针对2米的DAC堆叠线，我们采用30AWG线号；针对小于3米的DAC堆叠线，我们采用26AWG线号。
- 通常可以做成800G直连线缆，800G分2*400G线缆，800G分4*200G线缆，分支端的封装可选OSFP或者是QSFP112。
850nm的多模光模块通过50直径的光纤进行信号的转换和传输
- 在多模光纤中进行传输，随着距离的增大，信号失真增大，多模光模块的最大传输距离是50米。
- 多模光模块的制造成本会底很多，因为50微米直径的大光纤芯易于将光纤与激光器和检测器对准，从而降低制造成本。
- 与单模光学器件相比，快速且易于对准和制造可最大限度地降低成本。
- 800G双端口OSFP光模块的功耗小于17W
- 400G QSFP112 或 OSFP 光模块功耗小于9W。
- 800G双端口直连或者是用一分二的分支跳线将800G光模块和2个400G光模块连接。
- 两个光模块端口均使用1分2光纤分支线缆，创建4个2x100G-PAM4（200G）链路。
- 不提供 200Gb/s 多模光模块，与 2 通道光纤分路端一起使用时可实现 200G 并降低功耗。
1310波长光模块在9微米的纤芯上提供长达2km的信号传输。
- 纤芯直径小，难以对准和制造，因此单模光模块比多模光模块更昂贵。
- 800G双端口OSFP光模块的功耗小于17W
- 400G QSFP112 或 OSFP 光模块功耗小于9W。
- 不提供 200Gb/s 多模收发器，与 2 通道光纤分路端一起使用时可实现 200G 并降低功耗。
- 单模光纤的主要优势在于其使用以下方式提供的长距离传输：
1）可定制50米1分2的分支光纤，通过分支光纤和单模光模块连接交换机和网卡。
2）可定制100M、500M、2KM距离的光纤用于交换机和交换机之间的连接。
英伟达LinkX IB网络解决方案的光模块、堆叠线和有源光缆特点：
传输距离：数据中心用的光模块连接方案最远可达2km,但实际应用中，一般不超过50米。组件之间保持较短距离的连接，也是最大限度的减少延迟。
速率：交换机端口的速率可达800G，网卡和数据处理单元的速率一般为400G
低延迟：在这个网络系统中使用的光模块、有源光缆产品需要经过严格的测试，保证100G PAM4产品在传输大量数据时低延时要求，尽量减少数据的重传。
光模块直连：可插拔光模块之前的连接可以使用分支线缆，将2个、3个或者5个光模块互联。
相同的电子和光学元件：不同的光模块封装
双端口OSFP 800Gb/s 顶部带散热片的高速线缆和光模块仅用于交换机。
双端口OSFP 800Gb/s 平顶式高速线缆和光模块可用于DGX-H100和NVLink4 交换系统。单模和多模都可以适用。
800G双端口OSFP光模块，平顶版和带散热片的具有相同的内部结构，一般应用于使用液冷系统中的设备和用于GPU链路的大型DGX H100机箱。
4通道400G光模块使用OSFP或QSFP112封装，两者的电子和光学元件相同。
封装兼容性
- DAC高速线缆和(AOC有源光缆，可向后兼容一端 2x200G 双端口 OSFP 和分支端2x 200G 或 2x 100G QSFP56/28，用于连接到HDR/200GbE和 100GbE/HDR100网卡和交换机。这些DAC和AOC是唯一可以将 NDR/400GbE 连接到 HDR/200GbE 系统的线缆。光模块是不兼容的。
- 另外，ConnectX-7网卡和 BlueField-3 DPU 中的 QSFP112 端口向后兼容，并支持带有4x50G-PAM4的QSFP56 200G 和带有4x 25G-NRZ 的 QSFP28 100G。端口接受不同类型的光模块，并且网卡可以降级到较慢的线路速率。
- 100G-PAM4 多模和单模光模块无法降速到 50G-PAM4 和 25G-NRZ 的较低线路速率。
