从C10K到Reactor:事件驱动,如何重塑高并发服务器的网络架构

简介: 事件驱动是一种以事件为核心的编程范式,通过事件循环实现高效I/O处理。Reactor模型利用多路复用技术,解决C10K高并发难题,使单线程可管理海量连接,是现代高性能网络架构的基础。

事件驱动
事件驱动(Event Driven)是一种核心的编程范式,其根本特征是控制反转(Inversion of Control,IoC)。在这种模型中,程序的执行流不再由代码的顺序调用决定,而是由一系列异步发生的事件来驱动。应用程序的角色从主动轮询或等待,转变为被动地对事件做出响应,这构成了现代高性能系统的基础。
一个完整的事件驱动架构由四个基本部分组成,它们协同工作,构成了高效的事件处理流程。
1)事件源(Event Source):事件的产生者。在网络编程中,最典型的事件源就是操作系统内核,它负责监视网络连接、文件句柄等资源的状态变化。
2)事件(Event):对状态变化的封装。例如,一个数据包到达网卡,内核会生成一个“读就绪”事件;一个TCP连接请求被接受,会生成一个“连接就绪”事件。每个事件都包含了足够的信息(如关联的文件描述符)以供后续处理。
3)事件循环(Event Loop):整个范式的引擎。它是一个持续运行的循环,其唯一职责就是向事件源查询是否有新事件发生。一旦获取到事件,它并不会自己处理,而是将事件分发给预先注册的处理器。基于epoll的while (true) { epoll_wait(...); }结构就是最经典的事件循环实现。
4)事件处理器(Event Handler):预先定义的、用于处理特定事件的逻辑代码。这通常是一个函数或一个对象的方法。当事件循环将事件分发过来时,相应的处理器被调用,执行具体的业务逻辑,如读取数据、发送响应或关闭连接。
image.png

为什么需要Reactor模型
C10K问题(即同时处理1万个并发连接)是客户端-服务器模型在高并发场景下的典型挑战,由Dan Kegel于1999年提出。传统多线程模型在处理大规模并发连接时面临严重瓶颈:每一个连接创建一个线程(Thread-per-Connection)会导致内存消耗过高、上下文切换开销过大以及文件描述符资源耗尽。此外,阻塞I/O操作会使线程在等待数据时闲置,降低处理器利用率。
一种优化策略是使用线程池:服务器启动时创建固定数量的线程,组成线程池。当新连接到达时,从线程池分配空闲线程处理连接,处理完成后线程返回池中等待下一个任务。然而,由于使用阻塞I/O,当并发连接数过大时,线程池中的线程可能全部处于等待I/O操作的状态,导致处理器资源浪费。
image.png

为解决这些问题,Reactor模型应运而生。Reactor模型是事件驱动思想在网络I/O领域最经典的实现,它利用操作系统的I/O多路复用机制(如Linux的epoll),使少数线程甚至单个线程能够同时处理大量客户端连接。此外,它还支持轻松修改或扩展请求处理逻辑,尽管存在编程复杂度较高和调试难度较大的局限性。
在Reactor模式中,服务器不再为每个连接创建线程,而是将所有连接的文件描述符统一注册到一个中央事件循环中。这个事件循环通过epoll_wait等调用,以极低的成本同时监视海量连接。只有当某个连接上真正有事件发生时(如数据到达),操作系统才会唤醒事件循环,后者再将事件精确地分发给对应的处理器去执行非阻塞的读写操作。处理完毕后,控制权立刻返回事件循环,继续等待下一批事件。

未完待续

很高兴与你相遇!如果你喜欢本文内容,记得关注哦

目录
相关文章
|
26天前
|
数据可视化 知识图谱
LightRAG 实战: 基于 Ollama 搭建带知识图谱的可控 RAG 系统
LightRAG 是一款开源、模块化的检索增强生成(RAG)框架,支持快速构建基于知识图谱与向量检索的混合搜索系统。它兼容多种LLM与嵌入模型,如Ollama、Gemini等,提供灵活配置和本地部署能力,助力高效、准确的问答系统开发。
204 2
LightRAG 实战: 基于 Ollama 搭建带知识图谱的可控 RAG 系统
|
SQL 监控 Oracle
Oracle 数据库发生等待事件:enq: TX - row lock contention ,排查思路
Oracle 数据库发生等待事件:enq: TX - row lock contention ,排查思路
Oracle 数据库发生等待事件:enq: TX - row lock contention ,排查思路
|
11天前
|
数据采集 存储 调度
农业爬虫实战:惠农网农产品价格行情抓取全解析
农业爬虫助力现代农业数字化转型,通过实时抓取全国2000+市场农产品价格,解决传统数据采集滞后、覆盖窄等问题。以Python为核心技术,结合Requests、Selenium、代理池等工具,实现高效、稳定的数据获取。应用于种植决策、物流调度与价格预测,推动农业智能化发展。(238字)
133 0
|
C++ 索引
vscode clangd c++开发常见问题和解决方案
vscode clangd c++开发常见问题和解决方案
3655 0
|
24天前
|
数据采集 前端开发 Java
职责分离的艺术:剖析主从Reactor模型如何实现极致的并发性能
Reactor单线程模型中,I/O操作由单一线程处理,但业务逻辑若同步执行会阻塞线程,影响性能。为此,引入工作者线程池模型,将非I/O任务剥离至独立线程池,提升响应速度。进一步发展为主从多线程模型:MainReactor处理连接建立,SubReactor多线程管理读写,并结合过滤器链实现数据预处理,异步编程提升并发效率。该架构职责分明、扩展性强,广泛应用于Netty等高性能框架,支持百万级并发。
149 11
|
2月前
|
安全 Go 开发者
“不要通过共享内存来通信”——深入理解Golang并发模型与CSP理论
Golang 采用 CSP 理念,主张“通过通信共享内存”,以消息传递替代共享内存,避免数据竞争。其核心为 Goroutine 与 Channel:轻量协程并发执行,通道安全传递数据,将并发复杂性转为通信编排,提升程序清晰度与可维护性。
193 0
|
3月前
|
存储 负载均衡 容灾
海量数据如何“安家”?一文读懂哈希、范围和一致性哈希三大分片策略
将单机系统扩展为分布式架构时,数据分布是核心。哈希、范围及一致性哈希分片策略各有优劣:哈希均匀但扩缩容代价大;范围利于查询却易热点;一致性哈希平衡了动态伸缩与负载,广泛用于现代分布式系统。
252 3
|
5月前
|
存储 前端开发 搜索推荐
typora最新版解决方法,typora免费下载
Typora是一款简洁高效的Markdown编辑器,支持实时预览、语法高亮、数学公式、图表绘制等功能,适用于写作、编程和技术文档编写。界面极简,功能全面,支持多平台使用。
885 1
|
3月前
|
存储 分布式计算 NoSQL
Facebook内部都在用的存储引擎,LSM凭什么能硬扛亿级写入流量?
RocksDB是Meta开源的高性能键值存储引擎,基于LSM树设计,专为高吞吐写入场景优化。其核心包括内存表MemTable、持久化SSTable、预写日志WAL及合并机制,适用于海量数据处理。
155 0
|
10月前
|
运维 NoSQL 算法
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
本文深入探讨了基于Redis实现分布式锁时遇到的细节问题及解决方案。首先,针对锁续期问题,提出了通过独立服务、获取锁进程自己续期和异步线程三种方式,并详细介绍了如何利用Lua脚本和守护线程实现自动续期。接着,解决了锁阻塞问题,引入了带超时时间的`tryLock`机制,确保在高并发场景下不会无限等待锁。最后,作为知识扩展,讲解了RedLock算法原理及其在实际业务中的局限性。文章强调,在并发量不高的场景中手写分布式锁可行,但推荐使用更成熟的Redisson框架来实现分布式锁,以保证系统的稳定性和可靠性。
574 0
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理