40 Gbit/s链路在IP骨干网中的应用

monday-12532

摘要　随着IP骨干网流量的迅速增长，中继链路以10 Gbit/s为单位已经不能满足需求，40 Gbit/s链路的应用是必然选择，但40 Gbit/s链路技术目前不是非常成熟，“目前40 Gbit/s链路技术的优缺点有哪些?”、“在实际中如何应用?”，下面将对这些问题进行研究。
1、IP 10 Gbit/s链路的局限性
随着IP骨干网流量的迅速增长（本文只考虑IPv4单播流量）、中继电路数量的不断增加，目前中继链路以10 Gbit/s为单位，相对于两点间几百吉比特每秒的流量，其局限性已经日益凸现。
（1）同方向等价10 Gbit/s链路数量多。但IP网一般只能实现8条ECMP（Equal-Cost MultiPath），两者存在矛盾。
目前IP骨干网核心节点间动辄200～300 Gbit/s的流量，这意味着两点间起码有二三十条10 Gbit/s链路，并且这个数字还会随着流量的迅速增长而增大。为了满足ECMP数量增加的需求，路由器厂商对骨干路由器的ECMP能力进行了提升，典型的骨干网路由器与传统路由器ECMP能力的对比见表1。

表1　典型骨干网路由器与传统路由器ECMP能力的对比

骨干网ECMP的上限一般为所有设备ECMP的下限，图1解析了这个问题。图1中各台路由器间互联链路都没有超过8条，但从A可以分别经过B和C两条路径到达D，因此从A本地来看，相当于有16条链路可以达到D，形成16条等价路径，达到了Juniper T640（集群）/T1600和华为NE5000E设备的极限，也超出了传统骨干网路由器的极限。这个例子充分说明在传统骨干网路由器还在网内大量存在并且还会较长时间使用的前提下，限制全网ECMP数量不超过8条是必须的。为了克服这个限制，一般的做法是将A处的单台路由器变为多台，将单台16条ECMP问题转化为n台路由器的16/n条ECMP问题，但当A处变为多台路由器后，又会带来很多问题。

图1　骨干网ECMP能力

（2）链路连接复杂，增加了网络设计的难度。
A处的路由器数量不能太多，否则A处路由器间的穿透流量会很大，对核心节点而言一般4～6台为宜。即使A处为4台路由器，也有多种链路连接方式，每种连接方式都有其优势和劣势，链路连接方式的选择需要在网络设计时针对节点的类型、流量、传输等因素仔细评估后进行，这样就会给网络设计者造成相当大的困扰。

monday-12532

图1中A、B、C、D实际上是对称的，因此关于A的结论也适用于B、C、D。当A、B、C、D节点都“分裂”为多台路由器后，每个节点内路由器互联链路的IGP Metric以及节点间互联链路在节点内多台路由器的分布情况，都会极大地影响负载分担的效果，因此在设计时需要仔细斟酌，稍有差错就容易造成局部链路拥塞，从而增加后期维护工作量。
（3）ECMP数量大，增加了运行维护的难度。
由于路由器ECMP算法的局限，分担效果误差在10%～15%一般属于正常范围。另外，在流量模型不变的前提下，负载分担效果随着ECMP条数的增加而下降。
因此对于骨干网中那些中继链路利用率高而ECMP条数又多的区域，很容易出现由于负载分担不均造成局部拥塞的现象，此时仅靠普通的ECMP分担无法满足需要，一般的做法是通过临时调整IGP Metric或者BGP路由 可以考虑MPLS TE，但不是常规做法）使得部分流量绕开此类区域，降低区域内中继的利用率。还有一种做法是增加一些临时电路。无论哪种做法，都可能会“牵一发而动全身”，维护起来十分困难。
（4）难以适应路由器集群的应用。
路由器集群的出现使得拓扑层面节点内路由器的数量变少了，但在物理层面的路由器机框增加了。在以10 Gbit/s为单位的前提下，总体上而言，引入路由器集群对流量均衡是有利的，因为减少了节点内的穿透流量，但使得ECMP的局限更突出了，可以想像如果将A处的4台路由器单机变为1个路由器集群结果将会如何。
2、路由器40 Gbit/s端口厂商支持情况
正是因为上述10 Gbit/s链路的种种局限，路由器厂商研发了40 Gbit/s接口，从根本上摆脱了目前ECMP的困境。目前路由器上支持40 Gbit/s端口的只有Cisco CRS-1（集群）和Juniper T640（集群）/T1600，见表2。

表2　Cisco CRS-1（集群）与Juniper T640（集群）/T1600的比较

3、IP 40 Gbit/s链路的实现方式及对比
3.1　实现方式
根据目前路由器设备对40 Gbit/s端口的支持情况和传输层面40 Gbit/s DWDM系统的现状，IP 40 Gbit/s链路有以下5种实现方式。
方式1：背对背裸纤互联，如图2所示。

图2　背对背裸纤互联

monday-12532

同一厂商的40 Gbit/s白光口之间以及40 Gbit/s彩光口之间可以直接裸纤互联。Cisco 40 Gbit/s白光口和Juniper 40 Gbit/s白光口之间可以直接裸纤互联，并能互通。彩光口和白光口之间不能直接裸纤互联。
方式2：40 Gbit/s白光口接入40 Gbit/s DWDM系统，经OTU，如图3所示。

图3　40 Gbit/s白光口接入40 Gbit/s DWDM系统

与传统2.5 Gbit/s、10 Gbit/s POS接入DWDM系统类似，目前40 Gbit/s DWDM系统还不是很成熟，烽火、Alcatel、西门子等厂商研制出了40 Gbit/s DWDM系统，但仍需经进一步检验。
方式3：40 Gbit/s彩光口接入10 Gbit/s DWDM系统，不经OTU，如图4所示。

图4　40 Gbit/s彩光口接入10 Gbit/s DWDM系统

目前只有Cisco CRS-1（集群）支持此种方式。40 Gbit/s彩光口采用DualBinary编码，相对于常用的NRZ编码缩小1倍的频宽，因此理论上可以在现有10 Gbit/s波分平台上使用1个10 Gbit/s波道来传输1路40 Gbit/s信号，并且在40 Gbit/s彩光口内集成了OTU相关功能，因此40 Gbit/s彩光口与10 Gbit/s DWDM系统互联时不需经过OTU，直接互联即可。这种方式下数据和传输的耦合程度要比其他方式高很多，因此实际应用中会有以下一些传输相关的问题。
（1）色散补偿问题。目前的色散补偿基于波带，而不是基于单个波，因为40 Gbit/s的信号与一般的10 Gbit/s信号色散特性差异较大，因此在进行补偿的时候必须针对某几个波进行补偿，有相当大的难度。路由设备与传输设备的耦合程度相比之前要大大提高。
（2）非线性问题。Cisco已经通过E-FEC有效提高了40 Gbit/s彩光口的信噪比，但在波分系统已经开出很多通道的情况下，光靠板卡本身是不足够的。
（3）PMD（偏振光色散）因素。虽然新的光纤PMD值一般较低，但在长距离传输中仍需考虑对40 Gbit/s信号进行PMD补偿。
方式4：40 Gbit/s白光口经外置专用40 Gbit/s OTU转换后接入10 Gbit/s DWDM系统，如图5所示。

图5　40 Gbit/s白光口经OTU转换后接入10 Gbit/s DWDM系统

目前只有Cisco CRS-1（集群）支持此种方式。这种方式与方式3的原理一样，40 Gbit/s白光口+外置专用40 Gbit/s OTU=40 Gbit/s彩光口。专用OTU与普通OTU的区别是它能将白光的NRZ编码转换为DUalbinary编码（需要经过OEO）。
方式3所面临的问题这种方式同样需要面对，另外，这种方式还需处理40 Gbit/s白光口与专用OTU之间的互通问题。
方式5：4×10 Gbit/s捆绑接口接入10 Gbit/s DWDM系统，经OTU，如图6所示。

图6　4×10 Gbit/s捆绑接口接入10 Gbit/s DWDM系统

目前只有Juniper T640（集群）/T1600支持此种方式。4×10 Gbit/s捆绑接口物理上是4个独立的10 Gbit/s POS端口，采用与传统10 Gbit/s POS相同的方式接入10 Gbit/s DWDM系统。不同的是4×10 Gbit/s捆绑接口内部有合帧/分帧Inverse Mux功能，可以在SDH层面进行数据的合帧/分帧，使得IP层面可以视为一个40 Gbit/s端口。但由于SDH帧层面合帧/分帧的原因，4×10 Gbit/s捆绑接口的时延较普通40 Gbit/s接口要高，并且最大端口利用率只能达到90%。4×10 Gbit/s捆绑接口可无缝应用于现有的10 Gbit/s DWDM系统，但要求4个10 Gbit/s端口的波分传输距离之差在1.5 km以内，一般而言，这就意味着在同一个DWDM系统上传输。
3.2　各种实现方式的对比
IP 40 Gbit/s链路的各种实现方式对比见表3。

表3　IP 40 Gbit/s链路的各种实现方式对比

monday-12532

4、IP骨干网应用40 Gbit/s 链路的建议
根据以上论述，对IP骨干网应用40 Gbit/s链路的建议如下。
（1）IP骨干网POP点内部互联、IP骨干网与城域网/IDC互联，可以采用背对背裸纤互联的方式提供40 Gbit/s链路。
●如果互联路由器间不超过2 km，采用白光口直接互联。
●如果互联路由器间超过2 km，但均是CRS-1，采用彩光口直接互联。
●如果互联路由器间超过2 km，并且不都是CRS-1，此时需要调整40 Gbit/s链路的连接方式，以满足前两种情况。
（2）IP骨干网长途链路中应用40 Gbit/s链路，应保证IP+传输的投资最低。
目前40 Gbit/s DWDM系统还未完全成熟，应用少、造价昂贵，并且初期40 Gbit/s链路数量需求也不多，近两年大量地建设40 Gbit/s DWDM系统是不合适的，会造成原有10 Gbit/s DWDM系统资源的闲置，不能充分发挥投资效益。现在能提供40 Gbit/s端口的路由器厂商只有Cicso和Juniper，因此在其他厂商实现40 Gbit/s端口之前，方式3和方式5是优选方案，一方面能满足初期的40 Gbit/s应用需求；另一方面也能保护原有10 Gbit/s DWDM系统的投资，降低现阶段大规模采用40 Gbit/s DWDM系统所需要承担的大量投资和风险。在此阶段可以进行方式2的小规模试验，为将来大规模应用提供参考和经验。
未来随着40 Gbit/s链路技术的发展和相关标准的成熟，能在路由器上提供40 Gbit/s接口（包括40 Gbit/s彩光口）的厂商会越来越多，40 Gbit/s DWDM技术也会越来越成熟，长途40 Gbit/s链路的目标解决方案必须不依赖于某个特定设备厂商，无论是IP层面还是传输层面，此时方式2和方式3是优选方案。
方式4由于存在三个独立的设备——路由器、专用40 Gbit/s OTU、10 Gbit/s DWDM，要实现互通和有效管理非常困难，建议最好不要采用。
（3）应用40 Gbit/s链路时要注意IP路由的“木桶原理”。
在N条等价链路进行负载分担时，最大有效带宽为min{BW1，BW2…BWn}×N，其中BWk是第K条（K=1，2…N）链路的带宽，这就是IP路由的“木桶原理”。也就是说为了充分利用40 Gbit/s链路的能力，不要在两台路由器间同时安排40 Gbit/s和10 Gbit/s链路，否则40 Gbit/s链路只能当10 Gbit/s链路使用。