新闻媒体不会错过每一个新闻热点,从重大战略决策公布到明星八卦新闻,从金融股市波动到医疗卫生安全,引爆性新闻热点在带来大规模流量吸引众人眼球的同时,对于背后的IT情况也是一重艰巨的考验。
多数高并发,流量狂刷的情况,一般都是一些新闻推送导致,特别是一些突发性新闻。在此情况下会出现IIS连接数过高(5000)、内网流量过高(将近100Mbps)的高并发异常问题,如下图所示:
图中所示的情况,多个 web 最大连接数出现5000,但是有 web 最大连接数为0。我们可以从哪些思路着手,快速解决问题呢?
出现如上情况,我们可以从以下几个方面着手,快速应对高并发情况:
1、slb转发问题确定
由于在高并发下,转发到某两台web上的IIS连接数相比其他web的iis连接数不一致。所以我们初步怀疑,在面对高并发的情况下,SLB的转发不均匀。
通过从阿里云那边抓取SLB的HTTP请求的个数,分析数据,初步结果是RT变长,比如原来的请求,200ms完成,突然变成3000ms,所以导致某段时间的http转发数变低。
2、rds性能指标分析
遇到类似高并发问题,需要实时记录rds的性能指标,方便运维人员确定问题究竟出在web端,还是数据库端。
3、web端解决方法
此时通过批量增加web机器来进一步跟踪此问题。现有的机器配置是4核/16G,由于在高并发情况下,web机器性能消耗不是特别明显,所以在新开机器上,选择批量开通4核8G的web机器。
通过以上思路的排查,针对SLB分发不均匀所带来的高并发异常情况,通过增加 web 的方式进行解决,即可解决高并发问题。