【网络】高并发场景处理:线程池和IO多路复用

简介: 【网络】高并发场景处理:线程池和IO多路复用

短时间内有大量的客户端的解决方案

创建线程是比较经典的一种服务器开发模型,给每个客户端分配一个线程来提供服务

  • 但一旦短时间内有大量的客户端,并且每个客户端请求都是很快的,这个时候对于服务器来说,就会有比较大的压力
  • 虽然创建线程比创建进行更轻量,但也架不住短时间内创建销毁大量的线程
    所以引入线程池,来解决这样的问题
public void start() throws IOException {  
    System.out.println("启动服务器");  
    //创建线程池  
    ExecutorService service = Executors.newCachedThreadPool();  
    while(true) {  
        //建立连接  
        Socket clientSocket = serverSocket.accept();  
        //创建线程,每个线程去服务一个客户端  
        /*Thread t = new Thread(() -> {  
            try {                processConnection(clientSocket);            } catch (IOException e) {                throw new RuntimeException(e);            }        });        t.start();*/                
        //使用线程池
        service.submit(() -> {  
            try {  
                processConnection(clientSocket);  
            } catch (IOException e) {  
                throw new RuntimeException(e);  
            }        
        });    
    }
}

晚上 21:00开始比赛,可能就有几百万人涌入直播间

  • 这瞬间几百万格客户端就连上服务器了
  • 现代的服务器针对上述高并发场景,肯定是分布式(集群)方式来应对
  • 一台服务器无论如何也是没法去应对几百万个客户端,所以就引入更多的服务器

线程池

  1. 客户端发一个请求之后就快速断开连接了
  • 线程池解决的是这个问题
  • 线程池本质上也是一个线程服务于一个客户端,使用线程池就是在复用线程
  • 这样只能避免线程频繁创建和销毁,但如果同时有很多客户端,也需要有很多线程
ExecutorService service = Executors.newCachedThreadPool();
  • 此处使用的是这个线程池,他的最大线程数是非常非常大的
  • newFixedThreadPool 是需要指定最大线程数的,但如果固定线程数,就意味着同时只能处理这么多个客户端

IO 多路复用

  1. 客户端持续地发送请求处理响应,连接会保持很久
  • 这样的场景下,使用多线程/线程池都不合适
  • 每个客户端分配一个线程,对于一个系统来说,这里搞几百个线程,压力就非常大了
  • 此时一个服务器可能要处理上万个,几十万个客户端

针对这个问题,还有一个方案能解决这个问题,虽然数目非常多,但仍然可以使用较少的线程,提供高效的服务——IO 多路复用

希望在进行网络服务器开发的时候,可以使用更少的线程,处理更多的客户端

  • 虽然刚才是一个线程服务于一个客户端,实际上,每个这样的线程都可能会阻塞(客户端也不是持续地发请求的)
  • 相比于处理请求的时间,大部分的时间可能都是在阻塞等待
  • 如果可以让一个线程给多个客户端提供服务,那就正好了
  • 比如给一个线程分配 1000 个客户端进行处理,同一时刻,可能只有几十个客户端需要处理请求
  • 针对这样的情况,就需要操作系统内部提供支持了

IO 多路复用,也就是操作系统内核提供的功能(IO 多路复用具体的实现方案有很多种,最知名的就是 Linux 下的 epoll

  • epoll 就是在内核中,搞了一个数据结构,你可以把多个 Socket(每个 Socket 对应一个客户端)放到这个数据结构里
  • 同一时刻,大部分的 Socket 都是处于阻塞等待(没有数据需要处理),少数收到数据的 Socketepoll 就会通过回调函数的方式,通知应用程序,这里有数据了
  • 应用程序,就可以使用少量的线程,针对这里“有数据”的 Socket 进行处理即可

比如你今晚,你想吃烧烤,你妈想吃饺子,你爸想吃炒菜

  1. 你自己去买,先买烧烤,等;再买饺子,等;再买炒菜,等;完成。——>单线程,花的时间是最多的
  2. 你们三个一起去买,各买各的,分别等;完成——>多线程,花的时间机会缩短很多,等待的时间是三者最大值,系统开销也会更大
  3. 你自己去买,你先去买烧烤,给老板说“好了叫我”;再去买饺子,给老板说“好了叫我”;再去买炒菜,给老板说“好了叫我”,此时一个线程同时等待三份饭——>IO 多路复用的方案,此时等待的时间相比于多线程方案,相差不大,但是只需要一个线程就可以了
  • 最关键的就是老爸能够喊我,哪个客户端来数据了,操作系统就能通知到应用程序
  • 服务器开发中最主流的方案,尤其是 IO 多路复用中的 epoll


目录
打赏
0
2
2
0
17
分享
相关文章
线程池在高并发下如何防止内存泄漏?
线程池在高并发下如何防止内存泄漏?
152 6
Python网络编程:Twisted框架的异步IO处理与实战
【10月更文挑战第26天】Python 是一门功能强大且易于学习的编程语言,Twisted 框架以其事件驱动和异步IO处理能力,在网络编程领域独树一帜。本文深入探讨 Twisted 的异步IO机制,并通过实战示例展示其强大功能。示例包括创建简单HTTP服务器,展示如何高效处理大量并发连接。
80 1
查询服务器CPU、内存、磁盘、网络IO、队列、数据库占用空间等等信息
查询服务器CPU、内存、磁盘、网络IO、队列、数据库占用空间等等信息
1333 2
|
4月前
|
什么是面向网络的IO模型?
【10月更文挑战第6天】什么是面向网络的IO模型?
35 3
网络IO模型
【10月更文挑战第6天】网络IO模型
71 3
硬核图解网络IO模型!
硬核图解网络IO模型!
Python网络编程:Twisted框架的异步IO处理与实战
【10月更文挑战第27天】本文介绍了Python网络编程中的Twisted框架,重点讲解了其异步IO处理机制。通过反应器模式,Twisted能够在单线程中高效处理多个网络连接。文章提供了两个实战示例:一个简单的Echo服务器和一个HTTP服务器,展示了Twisted的强大功能和灵活性。
70 0
|
9天前
|
Linux编程: 在业务线程中注册和处理Linux信号
本文详细介绍了如何在Linux中通过在业务线程中注册和处理信号。我们讨论了信号的基本概念,并通过完整的代码示例展示了在业务线程中注册和处理信号的方法。通过正确地使用信号处理机制,可以提高程序的健壮性和响应能力。希望本文能帮助您更好地理解和应用Linux信号处理,提高开发效率和代码质量。
38 17
|
18天前
|
Linux编程: 在业务线程中注册和处理Linux信号
通过本文,您可以了解如何在业务线程中注册和处理Linux信号。正确处理信号可以提高程序的健壮性和稳定性。希望这些内容能帮助您更好地理解和应用Linux信号处理机制。
50 26

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等