351
2020年6月15日，美国运营商T-Mobile发生了一起罕见的网络重大事故。全国范围内的语音和短信服务中断长达12小时。事后，美国FCC主席公开表示这起重大网络事故“不可接受”，并随后对T-Mobile展开了调查。
全国范围，中断12小时，连911也无法拨打......如此严重的网络事故成为了全球运营商鲜活的反面教材，那背后到底是什么原因导致的？
不久前，运营商Orange在对这起全球瞩目的重大网络事故进行研究后，详细透露了这起事故的来龙去脉。
T-Mobile网络架构简介
T-Mobile的语音网络包括VoLTE、VoWiFi和2/3G CS网络，VoLTE语音业务通过4G LTE基站和传输网络连接到IMS，2/3G电路交换网关、WiFi网关与LTE核心网和IMS互联互通。网络内绝大多数手机会同时注册和连接到LTE和2/3G电路交换网络，如果VoLTE和VoWiFi呼叫失败或超时，或者在没有LTE和WiFi覆盖的情况下，手机会通过2/3G网络进行语音业务。
同时，T-Mobile传送网的路由器采用OSPF（Open Shortest Path First，开放式最短路径优先）路由协议，即给每一条链路分配一个权重，网络始终选择一个权重最小的路径来传输数据流量。
如上图，连接每个路由器的每条链路都分配了一个代表其权重的数字。要将数据从西雅图传输到迈阿密，网络会选择累积权重最小的路径，即会经由洛杉矶的路由器转发到迈阿密。而一旦西雅图与洛杉矶之间的链路中断，网络会选择另一条累积权重最小的路由来替代，即经由丹佛和纽约的路由器转发到迈阿密。
故障过程分析
1、美国东部时间2020年6月15日 12：33，T-Mobile在亚特兰大地区的VoLTE网络的一条光纤传输链路发生故障。如上所述，按T-Mobile的网络路由策略，当这条链路发生故障后，网络会根据OSPF协议重新选择一条备用路由来传输数据，从而缓解故障影响。
2、但万万没想到，T-Mobile工程师当初错误配置了这条备用路由上的其中一台路由器的权重，导致数据流量流向了一台无法处理大量呼叫信令流量的路由器，使得整个亚特兰大地区的4G语音和数据业务中断。
3、亚特兰大地区的所有4G手机向IMS发起VoLTE注册时失败，当手机通过4G网络注册失败超时后，又开始尝试通过Wi-Fi网络向IMS重新注册，但仍然注册失败，从而引发了信令流量拥塞。
312：45，12分钟后，中断的光传输链路恢复，此时通过WiFi注册失败的手机又重新尝试通过VoLTE注册，但因路由器权重配置错误，VoLTE重新注册再次失败，这进一步加剧了信令流量拥塞。
4、此时，T-Mobile工程师判断认为故障原因可能仍然由光传输故障引起，于是，又手动关闭了这条刚恢复的光传输链路，以继续试图通过其他路由传输数据。但这让网络故障又回到了初始状态，整个亚特兰大地区的移动用户无法连接4G网络，被迫再次通过WiFi建立呼叫，结果依然失败..... 再次加剧信令拥塞。
5、工程师们认识到判断错误，在一个小时后再次开启这条光传输链路，使得亚特兰大地区的手机又再一次重新尝试VoLTE注册，再再次加剧了网络信令拥塞。
6、就这样，在“Wi-Fi注册”与“VoLTE注册”之间来回折腾，循环“震荡”，导致部署在亚特兰大地区的IMS系统严重拥塞后，流量开始重定向到其他地区的IMS注册系统，从而引发了信令风暴蔓延到全国。
7、15：00左右，T-Mobile分布于全美的IMS注册节点变得越来越拥塞，最终导致全国范围内的VoLTE和VoWiFi语音注册失败，从而引发了一场全网VoLTE瘫痪的重大网络事故。
8、事故还在继续蔓延。当手机无法连接VoLTE和VoWiFi后，大量的手机回落到2/3G网络，这也造成了2/3G网络拥塞。
9、直到6月16日凌晨1点左右，T-Mobile在动用了数百名工程师之后，与供应商和合作伙伴一起终于将问题解决。网络恢复正常。
简单的讲，整个事故的过程是：
一条光纤传输链路发生中断，同时因为人为配置错误导致备份链路也失效了，引发了信令流量风暴蔓延全国，使得全国范围内的IMS系统发生严重拥塞，从而导致全国范围内的VoLTE业务瘫痪。
一条光纤传输链路中断，一次人为配置错误，就引发一场如此大规模的网络事故。进入5G时代，不仅网络更加复杂，而且对网络的稳定性和可靠性要求更高，这起刚好发生在5G商用元年的重大事故自然引起了全球运营商的高度关注。甚至有运营商以此为鉴，专门针对网络故障展开了专项研究。
希望下一次，一条小小光纤链路，一次不经意的人为错误，再也不会引起如此重大的网络故障。
本文参考：
June 15, 2020 T-Mobile Network Outage Report，FCCHow the T-Mobile outage of 2020 went down，Brigette Cardinaeal ，Orange
