每日一博 - 闲聊“突发流量”的应对之道

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
网络型负载均衡 NLB,每月750个小时 15LCU
简介: 每日一博 - 闲聊“突发流量”的应对之道

d0fdb2e70e1847b2b9749789048967d3.png

概述


面对“突发流量”的情况,我会采取以下应急措施:


扩容现有资源。这是最直接和最常用的方法。可以通过增加CPU、内存、节点等来扩容。典型案例是双11等大促期间,阿里会大规模扩容幕布等系统以应对流量激增。

横向扩展,增加更多服务器或节点。通过增加服务器数量来分摊流量,抵御突发流量冲击。例如网易严选在特大促销日会增加大量计算节点以应对流量激增。

限流降级,关闭非关键服务。临时关闭不太重要的服务,让服务器资源集中处理关键业务。例如淘宝在双11当天会关闭搜索引擎等服务,全部资源用于应付商城业务。

负载均衡,多机房部署。将应用部署在不同机房,通过DNS均衡策略分流用户流量,避免单点压力过大。例如京东商城就部署在北京、上海、广州三地机房。

缓存利用。利用缓存系统的响应速度快的优点,将atic内容缓存在缓存,减少对后端系统的访问。利用率最高的缓存数据可以直接在缓存系统响应用户,而不访问后端系统。典型案例是淘宝商品详情页等静态内容都会缓存在Redis中。

综上,面对突发流量应通过扩容,扩展,限流,负载均衡,缓存等手段来应对,确保系统稳定和可用。并且要从全局角度出发,相互协调各系统之间的关系。


应对突发流量的应急之道可以从以下几个方面入手:


自动化伸缩:通过自动化伸缩技术,可以根据实时监测到的流量情况,自动增加或减少服务器资源。例如,使用云计算平台提供的自动伸缩功能,可以根据负载情况自动增加或减少实例数量,从而保证系统的稳定性和可用性。


缓存技术:通过使用缓存技术,可以将一部分请求缓存到内存中,减轻服务器的负载压力。例如,使用Redis等内存数据库进行缓存,可以大幅提升系统的性能和并发能力。


负载均衡:通过负载均衡技术,将请求分发到多个服务器上进行处理,从而提高系统的并发处理能力。例如,使用Nginx等负载均衡软件进行请求转发,可以有效地提高系统的可用性和性能。


以下是一些真实案例:


2018年“双11”期间,阿里巴巴使用了自主研发的“流量卫士”系统,通过自动化伸缩和负载均衡等技术,成功应对了高峰期每秒4000万次请求的流量压力。


2020年新冠疫情期间,中国政府推出了“健康码”系统,用于实现人员健康信息的管理和防疫溯源。由于用户量暴增,系统面临了巨大的流量压力。为了解决这一问题,系统采用了缓存技术和负载均衡技术,成功应对了每天数亿次请求的流量压力。


2021年5月,美国在线游戏公司Riot Games的《英雄联盟》游戏因为新出的赛季和新英雄的上线,导致服务器流量激增。为了应对这一情况,公司采用了自动化伸缩技术和负载均衡技术,成功应对了每秒超过150万次请求的流量压力。


思路


230e1eda0e2b490790d7527dc92e4be0.jpg


相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
弹性计算 监控 API
新浪微博上云实践:极端流量下的峰值应对与架构挑战
在混合云架构中,核心关键是专线,它是实现内部与公有云之间弹性的核心。目前微博和阿里云之间已经拉通了多条专线,日常的核心消息通过多机房的消息组件同步到阿里云缓存中,实现前端层面和缓存层面的弹性伸缩。在混合云的模式下,微博目前采用了两种部署方案。
8738 0
|
2月前
|
消息中间件 存储 负载均衡
高并发流量杀手锏:揭秘秒杀系统背后的削峰技术!
本文介绍了秒杀场景下的“削峰填谷”策略,通过消息队列缓冲用户请求,避免高并发对系统造成冲击。文中详细解释了消息队列的工作原理及如何通过预扣减库存和分布式锁确保数据一致性,同时还提出了合理的消息队列配置、高可用性及数据库负载均衡等最佳实践。通过这些技术手段,可有效提升系统的稳定性和用户体验。
108 8
高并发流量杀手锏:揭秘秒杀系统背后的削峰技术!
|
3月前
|
负载均衡 监控 算法
揭秘负载均衡的五大算法秘籍:让你的服务器轻松应对亿万流量,不再崩溃!
【8月更文挑战第31天】在互联网快速发展的今天,高可用性和可扩展性成为企业关注的重点。负载均衡作为关键技术,通过高效分配网络流量提升系统处理能力。本文介绍了轮询、加权轮询、最少连接及IP哈希等常见负载均衡算法及其应用场景,并提供Nginx配置示例。此外,还探讨了如何根据业务需求选择合适算法、配置服务器权重、实现高可用方案、监控性能及定期维护等最佳实践,助力系统优化与用户体验提升。
66 2
|
3月前
|
域名解析 负载均衡 网络协议
双重神器合璧,流量洪流中的稳如磐石:揭秘Bind+Nginx负载均衡的超级力量!
【8月更文挑战第9天】在现代网站架构中,负载均衡至关重要,它通过分散客户端请求至多台服务器,确保了系统的高可用性和稳定性。本文介绍如何结合Bind与Nginx实现高效负载均衡。Bind作为DNS服务器,可为单一域名解析出多个IP地址;Nginx作为高性能HTTP服务器,则在这些IP对应的服务器间智能分配流量。通过配置Bind的A记录与Nginx的`upstream`和`proxy_pass`指令,我们能够构建一个既稳定又易扩展的负载均衡系统,显著提升用户体验与系统可靠性。
66 11
|
存储 测试技术 API
面对大促场景来临,如何从容进行性能测试
面对大促场景来临,如何从容进行性能测试
180 11
|
调度 UED
互联网发展历程:畅通无阻,流控的智慧应对
互联网发展历程:畅通无阻,流控的智慧应对
77 0
|
消息中间件 运维 应用服务中间件
5分钟轻松打造应对流量洪峰的稳定商城交易系统实验场景
本实验通过SAE极速部署一个微服务电商商城,同时结合RocketMQ异步解耦、削峰填谷的能力,带大家体验面对流量洪峰仍旧稳定可靠的商城交易系统!
346 0
|
双11
《双十一背后的农行系统如何应对交易峰值挑战?》电子版地址
双十一背后的农行系统如何应对交易峰值挑战?
93 0
《双十一背后的农行系统如何应对交易峰值挑战?》电子版地址
|
存储 消息中间件 缓存
老板让你抗住千万级流量,如何做架构设计?
随着互联网的发展,各项软件的客户量日益增多,当客户量达到一定峰值时,当数以万计的流量来临时,程序的顺利运行以及即时响应则显得尤为重要,就像双11那天的淘宝一样。那么,如何设计架构才能够抗住这千万级的流量。
253 0
老板让你抗住千万级流量,如何做架构设计?
|
存储 缓存 运维
高并发,我把握不住啊!
高并发,我把握不住啊!
417 0
高并发,我把握不住啊!
下一篇
无影云桌面