故障现象
运营商D客服部进行网页访问测试,采用以下6个网页轮询测试,测试场景配置参见表1。
业务类型 | Http Logon |
测试次数 | 1 |
测试间隔 | 2s |
测试网页 | www.163.com www.sina.com.cn www.jd.com www.baidu.com www.sohu.com www.ifeng.com |
从摸底测试结果看,HTTP网页访问时延偏大,其中baidu、sina、sohu等平均时延基本在1.5 s以上,参见表2。
网址 | HTTP页面打开时延(s) |
---|---|
www.163.com | 1.09 |
www.baidu.com | 2.68 |
www.ifeng.com | 1.6 |
www.jd.com | 1.63 |
www.sina.com.cn | 1.42 |
www.sohu.com | 1.36 |
在相同的测试站点下,保持测试点信号条件不变。分别使用了运营商D和运营商L的SIM卡对比测试,能看到使用运营商L卡的时延结果明显优于使用运营商D卡的结果,参见表3。
运营商 | 网址 | 页面打开时延(s) |
---|---|---|
运营商D(4G) | www.sina.com.cn | 1.11 |
运营商L(4G) | www.sina.com.cn | 0.59 |
运营商D(NSA) | www.sina.com.cn | 1.29 |
运营商L(NSA) | www.sina.com.cn | 0.54 |
sina多次测试的采样统计结果参见表4,能看到运营商D卡测试的结果波动较大。20次访问中,有8次的访问时延大于1.5 s,运营商L卡测试的结果整体比较稳定。
运营商D页面打开时延(s) | 运营商L页面打开时延(s) |
---|---|
3.01 | 0.81 |
1.58 | 0.45 |
1.52 | 0.63 |
2.97 | 0.48 |
2.97 | 0.6 |
0.68 | 0.46 |
0.66 | 0.44 |
0.61 | 0.49 |
0.58 | 0.49 |
0.56 | 0.49 |
1.9 | 0.72 |
0.55 | 0.69 |
0.55 | 0.46 |
0.64 | 0.52 |
1.57 | 0.54 |
0.6 | 0.53 |
3.02 | 0.52 |
0.67 | 0.47 |
0.55 | 0.5 |
0.52 | 0.5 |
baidu对比测试结果类似,参见表5。运营商D卡的测试平均时延2.28 s,运营商L卡平均时延1.36 s。网页传输大小的结果基本一致。
运营商D页面打开时延(s) | 运营商L页面打开时延(s) |
---|---|
1.48 | 1.73 |
1.25 | 1.55 |
7.06 | 1.34 |
6.95 | 1.2 |
2.17 | 1.26 |
1.19 | 1.76 |
2.98 | 1.26 |
2.15 | 1.32 |
1.22 | 1.29 |
2.2 | 1.11 |
1.23 | 1.49 |
2.2 | 1.21 |
1.22 | 1.29 |
1.16 | 1.21 |
2.25 | 2.09 |
1.4 | 1.09 |
1.3 | 1.38 |
2.67 | 1.2 |
1.25 | 1.15 |
2.19 | 1.21 |
2.28 | 1.36 |
故障分享
分析流程图如下图所示。
分析流程
在基站侧用户面抓包分析,造成网页时延偏大的原因主要与以下异常有关:
DNS无响应或响应端口号错误导致TCP流延时建立(本应该同时建立的多个TCP流,其中1-2个延时1-2 s才发起建立)
TCP建链SYN无响应
TCP建链SYN ACK序号异常
在基站、核心网、防火墙和公网CE联合抓包情况下,分析确认所有TCP建链异常和DNS查询异常与防火墙端口映射有关,防火墙将并发的不同的TCP/UDP会话映射了相同公网端口,导致一系列网页访问流程异常。
防火墙进一步抓取日志确认,根本原因是本来主备工作方式端口分配一侧分配奇,另一侧分配偶。但由于配置原因有一侧没有进行主备检测,导致这一侧奇偶都分,所以导致端口冲突。
故障处理
防火墙修正配置后,重新进行测试指标大幅改善,确认问题解决:
1. 新浪网页30次页面打开时延非常稳定,没有出现大于1 s的时延情况,平均0.59 s。相对于之前测试的1.42 s,改善58.5%,测试结果参见下图。
配置修正后sina.com采样统计结果
2. 7个网页轮询30次汇总平均结果,总体平均时延0.7 s。相对于之前1.63 s,改善57%,测试结果参见表6。
网页 | 页面打开时延(s) | 网页传输时长(s) |
---|---|---|
163 | 0.36 | 0.33 |
baidu | 1.13 | 0.46 |
ifeng | 0.76 | 0.3 |
jd | 0.94 | 0.79 |
sina | 0.59 | 0.4 |
sohu | 0.63 | 0.4 |
taobao | 0.49 | 0.03 |
平均值 | 0.7 | 0.39 |
网页 | 网页传输大小(MB) | NR
RSRP |
NR
SINR |
---|---|---|---|
163 | 1.13 | -80.05 | 28.16 |
baidu | 0.49 | -79.87 | 28.21 |
ifeng | 0.48 | -80.19 | 28.12 |
jd | 1.25 | -80.01 | 28.17 |
sina | 1.67 | -80.08 | 28.19 |
sohu | 1.58 | -80.04 | 28.19 |
taobao | 0.02 | -80.05 | 28.15 |
平均值 | 0.94 | -80.04 | 28.17 |
(百度受自身网页流程原因,各地及不同运营商测试结果均偏大,当前1.13 s相对于之前平均2.68s 改善57.84%。)