7种常见网络并发模型介绍

简介: 7种常见网络并发模型介绍

概述

对于网络服务器后端开发,为满足不同并发场景的需要,一般来说,不外乎几种常见的并发模型,除了一些教学场景常用的单线程、多进程(线程)的服务器实现外,生产用的服务器,一般都会考虑使用IO多路复用模型。

而常见的IO多路复用场景 ,可以设计得很简单,也可以设计得比较复杂,一般根据业务需要而定。本文总结了一些比较常见的服务器并发模型,基本涵盖了 大部分业务场景 。在实际业务开发的技术选型时,可根据场景,选取一款稳定、可靠的网络模型,还是十分关键的。

模型一: 单线程Accept(无IO复用 )

模型分析

  • 主线程main thread执行阻塞accept, 每次客户端connect连接过来,main thread中accept响应并建立连接
  • 创建连接成功,得到connect fd套接字后,依然在main thread串行处理套接字读写,并处理业务
  • 在处理业务时,如果有新客户端connect过来,server无响应,直到当前socket全部业务处理完毕(结束while循环)
  • 当前客户端处理完毕之后,关闭连接,处理下一个客户端请求

优缺点

优点

  • socket编程流程清晰且简单,适合学习使用,了解socket基本编程流程

缺点

  • 该模型并非并发模型 ,是串行服务器,同一时刻,监听并响应的最大网络请求量为1, 即并发量为1
  • 仅适学习基本socket编程,不适合任何服务器server构建

模型二: 单线程 Accept + 多线程读写业务(无 IO 复用)

模型分析

  • 主线程main thread阻塞在accept, 每次客户端 connect连接过来,main thread中accept响应并建立连接
  • 创建连接成功,得到connect fd套接字后,创建一个新的线程thread来处理客户端的读写业务,mian thread依然回到accept阻塞等待新客户端
  • thread通过套接字connect fd与客户端进行读写操作
  • server在处理业务时,如果有新的客户端连接过来,main thread中accept依然可以响应并建立连接,重复上述过程

优缺点

优点

  • 基于模型1的优化,支持了并发的特性
  • 使用比较灵活,一个客户端对应一个线程单独处理,server处理业务的内聚性比较高, 客户端无论如何读写 ,服务端 均会有一个 线程做资源响应

缺点

  • 随着客户端梳理增多,需要开辟的线程数量也增加了,和server线程的数量是1:1的关系,因此对于高并发场景,线程数量受到硬件的瓶颈,线程过多也会 增加CPU的切换成本,降低CPU利用率
  • 对于长连接,客户端一旦无业务读写,只要不关闭,server就应该对保持这个连接的状态(心跳检查,健康检查机制),占用连接资源和线程的开销
  • 仅适合客户端数量不大的场景,且可控的场景来使用
  • 该模型仅适合学习基本的socket编程,不适合做并发服务器

模型三: 单线程多路IO复用

模型分析

  • 主线程main thread创建listen fd之后,采用多路IO复用机制(如select、epoll)进行IO状态阻塞监控,有client连接请求,IO 复用机制检测到listen fd触发读事件,则进行accept建立连接,并将新生成的connect fd加入到监听IO集合中
  • client再次进行正常读写业务请求,main thread的多路IO复用机制阻塞返回,会触发该套接字 的读写事件等
  • 对于client的读写业务,server依然在main thread执行流程继续执行 ,此时如果有新的客户端connect请求过来,server将没有即时响应
  • 等到server处理完一个连接的读写操作,继续回到多路IO复用机制阻塞,其他连接过来才可以正常执行

优缺点

优点

  • 单流程体解决了可以同时监听多个客户端读写状态模型,不需要1:1客户端的线程数量关系
  • 多路IO复用机制 是阻塞的,非忙轮询的状态,不会浪费CPU资源,对CPU的利用率较高
  • 对于连接数较多,但是并发不大的场景,或对实时性没有特别严格的场景,该模型已经足够使用

缺点

  • 虽然可以监听读个客户端的读写状态,但是同一时间内,只能够处理一个客户端的读写操作,实际上读写业务并发为1
  • 当多个客户端访问server,业务是串行执行,大量请求的会有排队延迟现象。

模型四:单线程多路IO复用 + 多线程读写业务 (业务工作池)

模型分析

  • 主线程main thread 创建listen fd后,采用多路IO复用机制(如select、epoll)进行IO状态阻塞监控,有client客户端connect请求 ,IO复用机制检测到listenfd触发读事件,则进行accept建立连接,并将新生成的connect fd加入到监听IO集合中
  • 当connect fd有 可读消息,触发读时间,并进行读写消息
  • main thread按照固定协议读取消息,并且交给worker pool工作线程池,工作线程池在server启动之前就已经开启固定数量的thread,里面的线程只处理消息 业务,不进行套接字读写操作
  • 工作池处理完业务,触发connect fd写事件,将回执客户端的消息通过main thread写给对方
  • 即:main thread只处理IO阻塞监听以及具体的读写操作,读写到的数据交给具体的线程池处理,让main thread专注于处理IO事件
  • 类似于Redis的处理机制

优缺点

优点

  • 将业务处理的部分,通过工作池分离出来,能够减少客户端访问server导致业务串行执行会有大量请求排队的延迟时间
  • 实际上读写的业务并发为1,但是业务流程的并发为线程池数量,加快了业务处理的并行效率

缺点

  • 读写依然是main thread单独处理,最高的读写并行通道依然是1
  • 虽然多个worker thread处理业务,最后返回给client依旧也需要排队,因为出口还是main thread的一个通道

模型五:单线程IO复用 + 多线程IO复用

模型分析

  • server在 启动监听前,开辟固定数量 (N)的 线程,用thread poll线程池管理
  • 主线程main thread创建listen fd之后,采用IO多路复用机制(如select、epoll)进行IO状态阻塞监控 ,有 client 连接请求,IO复用机制 检测到listen fd触发读事件,则进行accept建立连接 ,并将新生成的connect fd分发给thread pool中的某个线程进行监听
  • thread pool中的每个thread都启动IO多路复用机制 ,用来监听main thread建立成功并且分发下来的connect fd的读写事件,处理对应的读写业务,并将处理完的结果通过该thread自己的IO多路复用机制回执给客户端

优缺点

优点

  • 将之前的main thread单流程的读写,分散到多线程来完成,这样就增加了同一时刻 读写的并行通道,并行通道的数量N,N 就是线程池的数量
  • server同时监听connect fd的数量,几乎是成倍增加,之前的全部监控数量取决于main thread的多路IO复用机制的最大限制,所以理论上单点server最高响应并发数量应该是之前的N倍(N是 线程池数量,建议线程数量和 CPU核心数1:1)
  • 如果良好的 线程池数量可CPU核心数适配,那么可以尝试将CPU 与thread绑定,从而降低CPU的切换频率,提高每个thread处理合理业务的效率,降低CPU的切换成本
  • memchached的并发模型与该模型比较类似

缺点

  • 虽然监听的并发数量提升,但是最高的读写并行通道依然为N,并且多个身处于同一个thread的客户端,会出现读写排队现象,实际上每个thread模型与单线程IO多路复用机制是一致的

模型六: 单进程IO 复用 + 多进程IO复用

模型分析

  • 与单线程IO复用+ 多线程IO 复用(线程池)无太大差异
  • 不同点
  • 进程和线程的内存布局不同,导致main process(主进程)不再进行accept操作,而是将accept过分散到各个子进程中
  • 进程的特性,资源独立,所以main process如果accept成功的fd,其他进程无法资源共享,所以需要各个进程自行accept创建连接
  • main process 只是监听listen fd的状态,一旦触发读事件(有新连接请求),通过一些IPC (进程间通信,如信号、共享内存、管道等),让各自子进程process竞争accpet完成连接建立,并各自监听

优缺点

  • 与单线程IO复用+ 多线程IO 复用(线程池)无太大差异
  • 不同点:
  • 多进程内存资源空间占用稍微大一些
  • 多进程模型安全稳定性较强,这也是各自进程互不干扰的特点导致
  • 实际上每个子进程process都是一个单线程IO多路复用模型

模型七: 单线程IO复用+ 多线程IO复用+ 多线程

模型分析

  • server在启动监听之前,开辟固定数量(N)的线程,用thread pool线程池管理
  • 主线程main thread创建listen fd之后,采用IO多路复用机制(如select、epoll)进行IO状态阻塞监控 ,有 client 连接请求,IO复用机制 检测到listen fd触发读事件,则进行accept建立连接 ,并将新生成的connect fd分发给thread pool中的某个线程进行监听
  • thread pool中的每个thread都启动IO多路复用机制 ,用来监听main thread建立成功并且分发下来的connect fd的读写事件,一旦有某个connect fd的读写事件被触发,立即开辟一个新的 线程开处理IO读写业务
  • 当某个线程处理完当前的读写业务,如果当前connect fd没有被关闭,那么将当前fd重新加回到thread pool的IO复用集合,并将自身线程销毁

优缺点

优点

  • 除了能够保证同时响应最高的并发数,又能够解决读写并行通道的局限问题
  • 同一时刻读写并行通道,达到最大化极限,一个客户端可以对应一个单独的执行流程处理读写业务

缺点

  • 该模型过于理想化,要求CPU核心数足够大
  • 如果硬件CPU数量有限,那么该模型就造成大量CPU切换的成本浪费。
  • 实际开发中,几乎用不到如此复杂的网络模型,当前流行的开源网络组件中,也没有哪一款软件做到了如此复杂的程度

本专栏知识点是通过<零声教育>的系统学习,进行梳理总结写下文章,对C/C++课程感兴趣的读者,可以点击链接,查看详细的服务:C/C++Linux服务器开发/高级架构师

目录
相关文章
|
20天前
|
网络协议 安全 Go
Go语言进行网络编程可以通过**使用TCP/IP协议栈、并发模型、HTTP协议等**方式
【10月更文挑战第28天】Go语言进行网络编程可以通过**使用TCP/IP协议栈、并发模型、HTTP协议等**方式
46 13
|
存储 设计模式 监控
高山仰之可极,谈半同步/半异步网络并发模型
高山仰之可极,谈半同步/半异步网络并发模型
326 0
高山仰之可极,谈半同步/半异步网络并发模型
|
7天前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【10月更文挑战第40天】在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术以及安全意识等方面的知识,帮助读者更好地了解网络安全的重要性,并提供一些实用的技巧和建议,以保护个人和组织的信息安全。
29 6
|
9天前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【10月更文挑战第39天】在数字化时代,网络安全和信息安全成为了我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,帮助读者更好地了解网络安全的重要性,并提供一些实用的技巧和方法来保护自己的信息安全。
21 2
|
1天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的知识,并提供一些实用的技巧和建议,帮助读者更好地保护自己的网络安全和信息安全。
|
3天前
|
安全 算法 网络协议
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字时代,网络安全和信息安全已经成为了我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,帮助读者更好地了解网络安全的重要性和应对措施。通过阅读本文,您将了解到网络安全的基本概念、常见的网络安全漏洞、加密技术的原理和应用以及如何提高个人和组织的网络安全意识。
|
4天前
|
存储 安全 算法
网络安全与信息安全:漏洞、加密与意识的三重防线
在数字时代的浪潮中,网络安全与信息安全成为维护数据完整性、确保个人隐私和企业资产安全的基石。本文将深入探讨网络漏洞的成因、加密技术的应用以及安全意识的培养,旨在通过技术与教育的结合,构建起一道坚固的防御体系。我们将从实际案例出发,分析常见的网络安全威胁,揭示如何通过加密算法保护数据安全,并强调提升个人和组织的安全意识在防范网络攻击中的重要性。
|
1天前
|
监控 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为全球关注的焦点。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议来保护个人和组织的数据安全。我们将从网络安全漏洞的识别和防范开始,然后介绍加密技术的原理和应用,最后强调安全意识在维护网络安全中的关键作用。无论你是个人用户还是企业管理者,这篇文章都将为你提供有价值的信息和指导。
|
1天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全成为了我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术以及安全意识等方面的内容,帮助读者更好地了解网络安全和信息安全的重要性,并提供一些实用的技巧和方法来保护个人信息和数据安全。
|
4天前
|
监控 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字时代,网络安全和信息安全已成为我们日常生活中不可或缺的一部分。本文将深入探讨网络安全漏洞、加密技术以及安全意识等方面的内容,帮助读者更好地了解如何保护自己的网络安全和信息安全。我们将通过实例和案例分析,揭示网络攻击者如何利用这些漏洞进行攻击,并提供一些实用的防御策略和建议。无论你是普通用户还是IT专业人士,这篇文章都将为你提供有价值的信息和见解。

热门文章

最新文章