运营的狂欢,运维的灾难——如何快速应对流量狂刷高带来的并发?

简介:

新闻媒体不会错过每一个新闻热点,从重大战略决策公布到明星八卦新闻,从金融股市波动到医疗卫生安全,引爆性新闻热点在带来大规模流量吸引众人眼球的同时,对于背后的IT情况也是一重艰巨的考验。

多数高并发,流量狂刷的情况,一般都是一些新闻推送导致,特别是一些突发性新闻。在此情况下会出现IIS连接数过高(5000)、内网流量过高(将近100Mbps)的高并发异常问题,如下图所示:

alt text

图中所示的情况,多个 web 最大连接数出现5000,但是有 web 最大连接数为0。我们可以从哪些思路着手,快速解决问题呢?

出现如上情况,我们可以从以下几个方面着手,快速应对高并发情况:

1、slb转发问题确定

由于在高并发下,转发到某两台web上的IIS连接数相比其他web的iis连接数不一致。所以我们初步怀疑,在面对高并发的情况下,SLB的转发不均匀。

通过从阿里云那边抓取SLB的HTTP请求的个数,分析数据,初步结果是RT变长,比如原来的请求,200ms完成,突然变成3000ms,所以导致某段时间的http转发数变低。

2、rds性能指标分析

遇到类似高并发问题,需要实时记录rds的性能指标,方便运维人员确定问题究竟出在web端,还是数据库端。

3、web端解决方法

此时通过批量增加web机器来进一步跟踪此问题。现有的机器配置是4核/16G,由于在高并发情况下,web机器性能消耗不是特别明显,所以在新开机器上,选择批量开通4核8G的web机器。

通过以上思路的排查,针对SLB分发不均匀所带来的高并发异常情况,通过增加 web 的方式进行解决,即可解决高并发问题。

相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
3月前
|
消息中间件 缓存 运维
云HIS运维运营平台 云HIS解决方案
云HIS重建统一的信息架构体系,重构管理服务流程,重造病人服务环境,向不同类型的医疗机构提供SaaS化HIS服务解决方案。
61 2
|
3月前
|
运维 监控 安全
安全运营之安全加固和运维
安全运营是一个将技术、流程和人有机结合的复杂系统工程,通过对已有安全产品、工具和服务产出的数据进行有效的分析,持续输出价值,解决安全问题,以确保网络安全为最终目标。
73 0
|
4月前
|
运维 搜索推荐 Java
医院云HIS:运维运营分系统功能简介
医院云HIS:运维运营分系统功能简介
86 0
|
5月前
|
运维 应用服务中间件 nginx
运维(27)-部署流量代理(Nginx+haproxy)
运维(27)-部署流量代理(Nginx+haproxy)
63 0
|
5月前
|
运维 BI 数据中心
TStack运维笔记(15)- 运营管理
TStack运维笔记(15)- 运营管理
32 0
|
7月前
|
运维 安全 SoC
安全运维与安全运营
安全运维与安全运营是安全人员经常听到的两个名词。到底什么是安全运维,什么是安全运营,两者之间有什么区别和联系呢?
128 0
|
8月前
|
运维 Shell
【运维知识高级篇】超详细的Shell编程讲解4(for循环+并发问题+while循环+流程控制语句+函数传参+函数变量+函数返回值+反向破解MD5)(二)
【运维知识高级篇】超详细的Shell编程讲解4(for循环+并发问题+while循环+流程控制语句+函数传参+函数变量+函数返回值+反向破解MD5)(二)
76 0
|
8月前
|
运维 Shell 数据安全/隐私保护
【运维知识高级篇】超详细的Shell编程讲解4(for循环+并发问题+while循环+流程控制语句+函数传参+函数变量+函数返回值+反向破解MD5)(一)
【运维知识高级篇】超详细的Shell编程讲解4(for循环+并发问题+while循环+流程控制语句+函数传参+函数变量+函数返回值+反向破解MD5)
129 0
|
运维 Cloud Native
《快速应对热点流量峰值,微博云原生运维最佳实践》电子版地址
快速应对热点流量峰值,微博云原生运维最佳实践.ppt
83 0
《快速应对热点流量峰值,微博云原生运维最佳实践》电子版地址
|
人工智能 运维 监控
从运维到运营,华为打造数字化时代的新运维
从运维到运营,华为打造数字化时代的新运维
297 0
从运维到运营,华为打造数字化时代的新运维