QPS多少,才算高并发 ?

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
网络型负载均衡 NLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
简介: 本文详解高并发概念及 QPS 标准,大厂面试高频点,建议掌握收藏。关注【mikechen的互联网架构】,10年+BAT架构经验分享。

关注△mikechen的互联网架构△,10年+BAT架构经验倾囊相授


image.png

大家好,我是 mikechen | 陈睿

QPS 多少才算高并发?这是个面试高频问题。

对此了解得不够深入的同学,这篇文章就一定要认真看看了。

本文,我们详解:什么是高并发,以及 QPS 多少才算高并发。@mikechen

什么是高并发

高并发,是指系统在短时间内、同时处理大量请求的能力。

比如:大家熟知的阿A里双 11,一秒峰值完成 58.3 万笔订单,这就是典型的高并发场景。

image.png

这可能包括多个用户同时发送请求、多个客户端同时连接到服务器、或者同时进行大量的事务处理。

多大算高并发

我们可以通过一些关键指标,来判断何时可以将一个系统视为高并发系统。

比如:通过 QPS 来计算具体的数据标志。

QPS 是Query Per Second的缩写,即每秒查询率,是衡量系统、服务或数据库每秒能够处理的查询请求数量。

image.png

QPS 通常用于衡量数据库、Web 服务器、API 等系统的性能。

QPS 的计算方式很简单,就是统计系统在每秒内处理的查询请求数量。

通常情况下,QPS在几千到几万以上的范围内可以被认为是高并发。

比如:QPS 在 1000 到 10000 之间,通常属于较为繁忙的系统,就属于有一定的并发量了。

如果超过 10,000...QPS 甚至到数十万、上百万 QPS 的级别,也就是非常高的并发场景。

这类系统往往依赖于复杂的架构,如:多级缓存、负载均衡、数据库分库分表、消息队列...等来解决。

多级缓存

多级缓存,就会涉及到:

image.png

  • 客户端缓存:例如:浏览器缓存,减少服务器压力...等等;
  • CDN(内容分发网络):CDN也就缓存的一大利器,一般都会采用:把静态资源缓存到距离用户最近的边缘节点;
  • 本地缓存:以及还会涉及到本地缓存,比如:将热点数据缓存到应用服务器内存,如:Guava、Ehcache...等等都是使用较多的本地缓存。
  • 分布式缓存:通过 Redis、Memcached ...等技术实现多级缓存,支持水平扩展、和高可用。

负载均衡

负载均衡,也是高并发的常见手段。

image.png

常见的负载均衡,有硬件的负载均衡、以及软件的负载均衡。

比如:

硬件负载均衡器

如 F5、A10 ...等,硬件的效果最好,但是就是比较贵。

软件负载均衡

如 Nginx、LVS、HAProxy ...等,软件负载均衡相对硬件效果差一点,但是省钱啊。

分库分表

当数据量比较大的时候,都会考虑到“分库分表”,这里就会涉及到:垂直拆分、和水平拆分...等等拆分方式。

image.png

  • 垂直分库:按业务模块拆分,例如将用户表、订单表分到不同的数据库。
  • 水平分库:将同一张表的数据按一定规则(如用户 ID)分到不同的数据库实例上。
  • 分表:将数据按一定规则分成多个表存储,减少单表的数据量和索引压力。

消息中间件

如果数据库压力大,你肯定想到缓存,除此之外,就会涉及到消息中间件,这也是一大利器。

通过消息队列进行异步处理,解耦系统组件,避免高峰期的请求压力直接传递到数据库、或后端系统。

比如:高并发最典型的场景,就是:异步处理、削峰填谷、...等等。

image.png

削峰填谷:是高并发系统中常用的一种架构设计模式,主要用于平衡系统在高并发场景下的负载压力。

它的核心思想:削峰、和填谷。

削峰

什么是削峰呢?

削峰就是:在并发请求达到峰值时,系统无法在短时间内处理所有请求,可以通过一些手段将请求削减,或者暂时存储起来,这就是削峰。

image.png

当请求量过大时,生产者(发起请求的一方)会将请求写入消息队列,消费者(处理请求的一方)则以相对较慢的速度从队列中读取数据并处理,这样系统不至于在短时间内被大量请求压垮。

通过“削峰”的方式,可以避免系统在短时间内被巨量的请求压垮。

填谷

填谷就是:当系统处于较低负载时,可以从之前存储的请求中逐步取出,充分利用系统的剩余资源来处理这些积压的任务或请求。

比如:当请求量减少时,消费者继续从队列中获取消息处理,保证资源充分利用,不会因为请求量减少而让资源闲置。

最典型的场景:就是秒杀活动,通常会产生大量瞬时请求,系统往往无法在同一时间处理所有请求。

可以使用消息队列对请求进行缓冲,后台逐步处理订单,避免系统崩溃。

以上,是 QPS 多少才算高并发详细解析,欢迎评论区留言交流或拓展。

我是 mikechen | 陈睿 ,关注【mikechen的互联网架构】,10年+BAT架构技术倾囊相授。

新的架构专题内容,第一时间更新至:阿里架构师进阶全部合集

本文已同步我的技术博客 www.mikechen.cc,更新至我原创的《30W+字阿里架构技术合集》中。

相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
6月前
|
数据采集 算法 双11
高并发的场景下,不能不说的限流算法
高并发的场景下,不能不说的限流算法
90 1
|
消息中间件 JavaScript 小程序
面试官:你了解 QPS、TPS、RT、吞吐量 这些高并发性能指标吗?
面试官:你了解 QPS、TPS、RT、吞吐量 这些高并发性能指标吗?
|
1月前
|
缓存 搜索推荐 数据挖掘
TPS和QPS是什么?都是什么区别?
TPS和QPS是什么?都是什么区别?
1807 4
|
15小时前
|
架构师 Java 测试技术
一文搞透高并发指标(QPS、TPS、吞吐量等)
详解高并发场景下的QPS、TPS、RT及吞吐量等关键性能指标,帮助理解系统性能评估的核心概念。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
一文搞透高并发指标(QPS、TPS、吞吐量等)
|
6月前
|
网络协议 安全 Ubuntu
c10k百万并发思考
c10k百万并发思考
77 1
|
6月前
|
测试技术
TPS、QPS和系统吞吐量的区别和理解
TPS、QPS和系统吞吐量的区别和理解
836 0
|
缓存 JSON 网络协议
高并发场景下的 HttpClient 优化,QPS 大大提升!
高并发场景下的 HttpClient 优化,QPS 大大提升!
|
测试技术 应用服务中间件 Apache
QPS、TPS、并发用户数、吞吐量等定义
QPS (Queries Per Second) 是每秒查询率 ,是一台服务器 每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内 所处理流量多少的衡量标准, 即每秒的响应请求数,也即是最大吞吐能力。
3799 0
|
存储 缓存 数据库
百万QPS系统的缓存实践
标题有些吸引眼球了,但并不浮夸,甚至还会远远超过百万,现在的平均响应时间在1ms内,0.08ms左右 如此高的QPS,如此低的AVG,为什么会有如此效果,关键点可能就在多级缓存上 在开发高并发系统时有三把利器用来保护系统:缓存、降级和限流
652 0
百万QPS系统的缓存实践