【网络】高并发场景处理:线程池和IO多路复用

简介: 【网络】高并发场景处理:线程池和IO多路复用

短时间内有大量的客户端的解决方案

创建线程是比较经典的一种服务器开发模型,给每个客户端分配一个线程来提供服务

  • 但一旦短时间内有大量的客户端,并且每个客户端请求都是很快的,这个时候对于服务器来说,就会有比较大的压力
  • 虽然创建线程比创建进行更轻量,但也架不住短时间内创建销毁大量的线程
    所以引入线程池,来解决这样的问题
public void start() throws IOException {  
    System.out.println("启动服务器");  
    //创建线程池  
    ExecutorService service = Executors.newCachedThreadPool();  
    while(true) {  
        //建立连接  
        Socket clientSocket = serverSocket.accept();  
        //创建线程,每个线程去服务一个客户端  
        /*Thread t = new Thread(() -> {  
            try {                processConnection(clientSocket);            } catch (IOException e) {                throw new RuntimeException(e);            }        });        t.start();*/                
        //使用线程池
        service.submit(() -> {  
            try {  
                processConnection(clientSocket);  
            } catch (IOException e) {  
                throw new RuntimeException(e);  
            }        
        });    
    }
}

晚上 21:00开始比赛,可能就有几百万人涌入直播间

  • 这瞬间几百万格客户端就连上服务器了
  • 现代的服务器针对上述高并发场景,肯定是分布式(集群)方式来应对
  • 一台服务器无论如何也是没法去应对几百万个客户端,所以就引入更多的服务器

线程池

  1. 客户端发一个请求之后就快速断开连接了
  • 线程池解决的是这个问题
  • 线程池本质上也是一个线程服务于一个客户端,使用线程池就是在复用线程
  • 这样只能避免线程频繁创建和销毁,但如果同时有很多客户端,也需要有很多线程
ExecutorService service = Executors.newCachedThreadPool();
  • 此处使用的是这个线程池,他的最大线程数是非常非常大的
  • 而 newFixedThreadPool 是需要指定最大线程数的,但如果固定线程数,就意味着同时只能处理这么多个客户端

IO 多路复用

  1. 客户端持续地发送请求处理响应,连接会保持很久
  • 这样的场景下,使用多线程/线程池都不合适
  • 每个客户端分配一个线程,对于一个系统来说,这里搞几百个线程,压力就非常大了
  • 此时一个服务器可能要处理上万个,几十万个客户端

针对这个问题,还有一个方案能解决这个问题,虽然数目非常多,但仍然可以使用较少的线程,提供高效的服务——IO 多路复用

希望在进行网络服务器开发的时候,可以使用更少的线程,处理更多的客户端

  • 虽然刚才是一个线程服务于一个客户端,实际上,每个这样的线程都可能会阻塞(客户端也不是持续地发请求的)
  • 相比于处理请求的时间,大部分的时间可能都是在阻塞等待
  • 如果可以让一个线程给多个客户端提供服务,那就正好了
  • 比如给一个线程分配 1000 个客户端进行处理,同一时刻,可能只有几十个客户端需要处理请求
  • 针对这样的情况,就需要操作系统内部提供支持了

IO 多路复用,也就是操作系统内核提供的功能(IO 多路复用具体的实现方案有很多种,最知名的就是 Linux 下的 epoll)

  • epoll 就是在内核中,搞了一个数据结构,你可以把多个 Socket(每个 Socket 对应一个客户端)放到这个数据结构里
  • 同一时刻,大部分的 Socket 都是处于阻塞等待(没有数据需要处理),少数收到数据的 Socket,epoll 就会通过回调函数的方式,通知应用程序,这里有数据了
  • 应用程序,就可以使用少量的线程,针对这里“有数据”的 Socket 进行处理即可

比如你今晚,你想吃烧烤,你妈想吃饺子,你爸想吃炒菜

  1. 你自己去买,先买烧烤,等;再买饺子,等;再买炒菜,等;完成。——>单线程,花的时间是最多的
  2. 你们三个一起去买,各买各的,分别等;完成——>多线程,花的时间机会缩短很多,等待的时间是三者最大值,系统开销也会更大
  3. 你自己去买,你先去买烧烤,给老板说“好了叫我”;再去买饺子,给老板说“好了叫我”;再去买炒菜,给老板说“好了叫我”,此时一个线程同时等待三份饭——>IO 多路复用的方案,此时等待的时间相比于多线程方案,相差不大,但是只需要一个线程就可以了
  • 最关键的就是老爸能够喊我,哪个客户端来数据了,操作系统就能通知到应用程序
  • 服务器开发中最主流的方案,尤其是 IO 多路复用中的 epoll


相关文章
|
存储 Linux C语言
Linux C/C++之IO多路复用(aio)
这篇文章介绍了Linux中IO多路复用技术epoll和异步IO技术aio的区别、执行过程、编程模型以及具体的编程实现方式。
1050 1
Linux C/C++之IO多路复用(aio)
|
数据采集 存储 弹性计算
高并发Java爬虫的瓶颈分析与动态线程优化方案
高并发Java爬虫的瓶颈分析与动态线程优化方案
|
监控 应用服务中间件 Linux
掌握并发模型:深度揭露网络IO复用并发模型的原理。
总结,网络 I/O 复用并发模型通过实现非阻塞 I/O、引入 I/O 复用技术如 select、poll 和 epoll,以及采用 Reactor 模式等技巧,为多任务并发提供了有效的解决方案。这样的模型有效提高了系统资源利用率,以及保证了并发任务的高效执行。在现实中,这种模型在许多网络应用程序和分布式系统中都取得了很好的应用成果。
462 35
|
关系型数据库 MySQL 分布式数据库
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
|
NoSQL 算法 安全
redis分布式锁在高并发场景下的方案设计与性能提升
本文探讨了Redis分布式锁在主从架构下失效的问题及其解决方案。首先通过CAP理论分析,Redis遵循AP原则,导致锁可能失效。针对此问题,提出两种解决方案:Zookeeper分布式锁(追求CP一致性)和Redlock算法(基于多个Redis实例提升可靠性)。文章还讨论了可能遇到的“坑”,如加从节点引发超卖问题、建议Redis节点数为奇数以及持久化策略对锁的影响。最后,从性能优化角度出发,介绍了减少锁粒度和分段锁的策略,并结合实际场景(如下单重复提交、支付与取消订单冲突)展示了分布式锁的应用方法。
1299 3
|
缓存 NoSQL 架构师
Redis批量查询的四种技巧,应对高并发场景的利器!
在高并发场景下,巧妙地利用缓存批量查询技巧能够显著提高系统性能。 在笔者看来,熟练掌握细粒度的缓存使用是每位架构师必备的技能。因此,在本文中,我们将深入探讨 Redis 中批量查询的一些技巧,希望能够给你带来一些启发。
Redis批量查询的四种技巧,应对高并发场景的利器!
|
安全 自动驾驶 物联网
新四化驱动,如何构建智能汽车的“全场景”可进化互联网络?
在智能化、电动化、网联化、共享化的时代浪潮中,汽车正从单纯的 “机械产品” 进化为先进的 “移动智能终端”。在软件定义汽车(SDV)的崭新时代,每一次 OTA 升级的顺利完成、每一秒自动驾驶的精准决策、每一帧车载娱乐交互的流畅呈现,都离不开一张实时响应、全域覆盖、安全可靠的广域网络。
|
监控 算法 安全
公司电脑网络监控场景下 Python 广度优先搜索算法的深度剖析
在数字化办公时代,公司电脑网络监控至关重要。广度优先搜索(BFS)算法在构建网络拓扑、检测安全威胁和优化资源分配方面发挥重要作用。通过Python代码示例展示其应用流程,助力企业提升网络安全与效率。未来,更多创新算法将融入该领域,保障企业数字化发展。
397 10
|
弹性计算 NoSQL 关系型数据库
高并发交易场景下业务系统性能不足?体验构建高性能秒杀系统!完成任务可领取锦鲤抱枕!
高并发交易场景下业务系统性能不足?体验构建高性能秒杀系统!完成任务可领取锦鲤抱枕!
|
缓存 NoSQL Java
高并发场景秒杀抢购超卖Bug实战重现
在电商平台的秒杀活动中,高并发场景下的抢购超卖Bug是一个常见且棘手的问题。一旦处理不当,不仅会引发用户投诉,还会对商家的信誉和利益造成严重损害。本文将详细介绍秒杀抢购超卖Bug的背景历史、业务场景、底层原理以及Java代码实现,旨在帮助开发者更好地理解和解决这一问题。
737 12