职责分离的艺术:剖析主从Reactor模型如何实现极致的并发性能

简介: Reactor单线程模型中,I/O操作由单一线程处理,但业务逻辑若同步执行会阻塞线程,影响性能。为此,引入工作者线程池模型,将非I/O任务剥离至独立线程池,提升响应速度。进一步发展为主从多线程模型:MainReactor处理连接建立,SubReactor多线程管理读写,并结合过滤器链实现数据预处理,异步编程提升并发效率。该架构职责分明、扩展性强,广泛应用于Netty等高性能框架,支持百万级并发。

Reactor单线程模型
在Reactor单线程模型中,所谓的“单线程”主要针对I/O操作而言,即所有的I/O操作(如accept()、read()、write()和connect())都在同一个线程上完成。然而,在当前的单线程Reactor模型中,不仅I/O操作由Reactor线程处理,非I/O的业务逻辑操作也在该线程上执行。这种设计可能导致I/O请求的响应被显著延迟,因为耗时的业务逻辑会阻塞Reactor线程,使其无法及时处理后续的I/O事件。
为了优化性能,应当将非I/O的业务逻辑操作从Reactor线程中卸载,转交给独立的线程池处理。这样可以显著加速Reactor线程对 I/O请求的响应,提升系统的整体吞吐量和响应速度。
image.png

Reactor工作者线程池模型
与单线程模型不同,工作者线程池模型引入了工作者线程池(Work Thread Pool),并将非I/O操作从Reactor线程中剥离,交由工作者线程池执行。这种设计能够显著提升Reactor线程的I/O响应速度,避免因耗时业务逻辑的阻塞而延迟后续I/O请求的处理。
image.png

然而,在工作者线程池模型中,尽管非I/O操作被转移到了线程池中处理,但所有的I/O操作仍然由Reactor单线程执行。在高负载、高并发或大数据量的应用场景中,这种设计仍然可能成为性能瓶颈。因此,为了进一步优化Reactor模型,衍生出了多线程模型,以更好地应对复杂的应用需求。

Reactor主从多线程模型
1)MainReactor负责监听Server Socket,处理新连接的建立。通常,MainReactor只暴露一个服务端口,并将建立的Socket连接注册到SubReactor。由于其主要任务是处理新连接,因此通常只需一个线程即可完成。
2)SubReactor负责维护与客户端的实际通信,基于I/O多路复用处理读写事件,完成网络数据的读写操作。SubReactor通常采用多线程设计,线程数一般设置为处理器核心数的两倍,以充分利用多核性能。
对于非I/O操作(如业务逻辑处理),任务会被转交给独立的工作线程池执行,以避免阻塞SubReactor的事件循环。
为了充分利用多核处理器的系统资源,Reactor模型可以被拆分为两部分:MainReactor和SubReactor。
这种设计使得每个模块的职责更加专一,耦合度显著降低,系统的性能和稳定性得到大幅提升,支持的并发客户端数量可以达到百万级别。目前,许多优秀的框架已经成功应用了这种模型,例如Java的Netty等。
image.png

Reactor模型和过滤器
过滤器(Filter)是一种数据处理模式,用于在数据传递过程中进行预处理或后处理。过滤器通常以链式结构(Filter Chain)组织,每个过滤器依次处理数据,负责特定任务(如解码、验证、日志记录等)。
当事件发生时,Reactor将其传递给过滤器链的第一个过滤器。每个过滤器处理后将结果传递给下一个,直到所有过滤器完成处理。最终,处理完成的事件会交给实际的事件处理器进行进一步处理。
过滤器链的优势在于将复杂逻辑分解为一系列简单、独立的步骤,每个步骤由专门过滤器负责。这种设计提高了代码的可读性和可维护性,同时使添加、删除或修改处理步骤更加灵活便捷。
image.png

Reactor模型和异步编程
异步编程是一种编程范式,允许程序在等待某个操作(如I/O操作)完成时继续执行其他任务,从而避免阻塞。异步编程通常通过回调函数、Promise、Future等机制实现。
Reactor模型和异步编程通常结合使用,以实现高效的并发处理。Reactor模型提供事件驱动的基础,而异步编程则用于处理具体的非阻塞操作。
当Reactor监听事件(如网络请求到达)。事件循环接收到事件后,向工作线程池提交一个异步操作(如读取数据)。异步操作返回一个Future对象,表示操作的未来结果。Reactor继续监听其他事件,不阻塞当前线程。当异步操作完成后,Future对象的结果被设置,并触发回调函数。回调函数处理结果,可能触发新的事件(如发送响应)。
image.png

以下伪代码,展示了Reactor主从多线程模型与滤器链,异步编程结合执行过程。

// 伪代码: 主从Reactor与异步处理
// MainReactor循环
mainReactor.onNewConnection(socket -> {
   
    // 轮询选择一个SubReactor
    SubReactor sub = subReactors.next();
    // 将新连接注册到SubReactor
    sub.register(socket);
});

// SubReactor循环
subReactor.onReadable(socket, data -> {
   
    // 提交给工作线程池,并返回一个Future
    Future<Result> future = workerPool.submit(() -> {
   
        // 经过过滤器链处理
        data = filterChain.process(data);
        // 执行耗时的业务逻辑
        return businessLogic(data);
    });

    // 异步处理结果
    future.onComplete(result -> {
   
        socket.write(result); // 将结果异步写回
    });
});

未完待续

很高兴与你相遇!如果你喜欢本文内容,记得关注哦

目录
相关文章
|
2月前
|
弹性计算 运维 安全
阿里云轻量服务器是什么?200M带宽配置价格清单,轻量详细介绍
阿里云轻量应用服务器(Simple Application Server)是面向个人开发者及中小企业的轻量级云服务,适用于网站建设、开发测试、小程序后端等场景。采用套餐式售卖,不支持自定义CPU、内存等配置,内置WordPress、宝塔面板、LNMP等应用镜像,支持一键部署。默认200M峰值带宽,最低38元/年起,操作简单、成本低,是快速搭建应用的理想选择。
568 11
|
3月前
|
数据采集 人工智能 编解码
AI出码率70%+的背后:高德团队如何实现AI研发效率的量化与优化
本文系统阐述了在AI辅助编程快速发展的背景下,如何构建一套科学、可落地的研发效率量化指标体系
1115 27
AI出码率70%+的背后:高德团队如何实现AI研发效率的量化与优化
|
2月前
|
移动开发 数据可视化 安全
数字孪生云渲染终极指南(一):什么是实时云渲染?
将三维可视化程序上云可以有效解决上述问题。通常可采用WebGL、HTML5、threejs、虚拟化、云桌面,以及云渲染等各类技术方案,实现客户端与服务端的分离,从一定程度上降低客户端硬件配置要求,提高程序兼容性。实时云渲染技术是目前最先进的云化技术之一,也是数字孪生三维可视化场景商业模式破局的关键。
380 156
数字孪生云渲染终极指南(一):什么是实时云渲染?
|
2月前
|
JavaScript 安全 前端开发
智能随访系统源码,如何使用Java Spring Boot,Vue,Ant Design快速开发一套医院随访系统
基于Spring Boot + Vue + Ant Design Vue技术栈开发的医疗随访系统,涵盖患者管理、随访计划与执行、统计报表及系统管理模块。前后端分离架构,支持多渠道随访,数据安全可控,具备良好的扩展性与开发效率。
238 0
|
传感器 网络协议 物联网
基于STM32设计的智能家居系统(采用ESP8266+OneNet云平台)
基于STM32设计的智能家居系统(采用ESP8266+OneNet云平台)
1849 1
基于STM32设计的智能家居系统(采用ESP8266+OneNet云平台)
|
JavaScript
VUE element-ui之el-form表单点击按钮自动增加表单(输入框),可新增删除
VUE element-ui之el-form表单点击按钮自动增加表单(输入框),可新增删除
2550 0
VUE element-ui之el-form表单点击按钮自动增加表单(输入框),可新增删除
|
3月前
|
存储 数据可视化 小程序
搭建内容中台:打造高效可复用的企业内容管理基石
内容中台的本质,是将企业的 “内容资源” 转化为 “可复用、可运营的数字资产”,让内容从 “每个渠道的附属品”,变成 “驱动全渠道业务增长的核心能力”—— 它不仅是技术层面的平台,更是企业内容战略的 “落地载体”。
309 0
|
6月前
|
负载均衡 算法 安全
基于Reactor模式的高性能网络库之线程池组件设计篇
EventLoopThreadPool 是 Reactor 模式中实现“一个主线程 + 多个工作线程”的关键组件,用于高效管理多个 EventLoop 并在多核 CPU 上分担高并发 I/O 压力。通过封装 Thread 类和 EventLoopThread,实现线程创建、管理和事件循环的调度,形成线程池结构。每个 EventLoopThread 管理一个子线程与对应的 EventLoop(subloop),主线程(base loop)通过负载均衡算法将任务派发至各 subloop,从而提升系统性能与并发处理能力。
383 3
|
2月前
|
负载均衡 安全 关系型数据库
【赵渝强老师】MySQL集群解决方案
MySQL主从与主主复制集群可实现数据同步、读写分离及高可用。主从复制支持一主多从,提升性能与安全;主主复制则互为备份,双向同步,适用于高并发场景,增强系统可靠性与扩展性。
160 4
|
2月前
|
SQL 移动开发 Oracle
Oracle 数据库查询:单表查询
想知道Oracle是如何一步步处理你的查询请求吗?关键在于理解它背后“看不见的”执行顺序。它会先从FROM和WHERE锁定数据,再用GROUP BY分组,最后才排序。搞懂这个流程,再掌握用ROWNUM实现分页的技巧,就能更自如地从数据库里拿到你想要的数据了。
387 5