Redis 线程模型
1、交互模型
2、Reactor 模型
处理流程:
- 主线程往 epoll 内核事件表注册 socket 上的读事件。
- 主线程调用 epoll_wait 等待 socket 上数据可读。
- 当 socket 可读的时候 ,epoll_wait 通知主线程,主线程则将 socket 可读事件放入请求队列。
- 睡眠在请求队列上的某个工作线程被唤醒,他从 socket 读取数据,并且处理用户请求,然后往 epoll 内核事件表中注册 socket 写就绪事件。
- 主线程 epoll_wart 等待 socket 可写
- 当 socket 可写时, epoll_wait 通知主线程。主线程将 socket 可写事件放入请求队列。
- 睡眠在请求队列中的某个线程被唤醒,他往 socket 上写服务端处理客户端请求的结果。
优点和缺点:
- 优点
- 响应快,不必为单个同步操作阻塞,也不用考虑 fd 跨线程问题。
- 可拓展性,可以很方便的通过 reactor 实例(如 multi reactor)个数来利用 cpu 资源;
- 可复用性,reacotor 本身与具体事件处理逻辑无关,方便复用。
- 缺点
- 共享同一个 reactor 时,若出现较长的读写,会影响该 reactor 的响应时间,此时可以考虑 thread-per-connection
3、Reactor 模型示例
服务端(基于 netty):
// 基于 Java 代码为例 EventLoopGroup bossGroup = new NioEventLoopGroup(); EventLoopGroup workerGroup = new NioEventLoopGroup(); try { ServerBootstrap b = new ServerBootstrap(); b.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) .option(ChannelOption.SO_BACKLOG, 4096) .childHandler(new JkvServerInitalizer()); ChannelFuture f = b.bind(SERVER_PORT).sync(); f.channel().closeFuture().sync(); } finally { bossGroup.shutdownGracefully(); workerGroup.shutdownGracefully(); }
客户端(基于 netty):
EventLoopGroup eventLoopGroup = new NioEventLoopGroup(); try { Bootstrap bootstrap = new Bootstrap(); bootstrap.group(eventLoopGroup) .channel(NioSocketChannel.class) .handler(new MyChatClientInitializer()); Channel channel = bootstrap.connect("localhost",SERVER_PORT).sync().channel(); BufferedReader br = new BufferedReader(new InputStreamReader(System.in)); for (;;) { channel.writeAndFlush(br.readLine() + "\r\n"); } }finally { eventLoopGroup.shutdownGracefully(); }
Redis 的网络模型
Redis 采用的是单线程 Reactor。单机压测QPS可以达到10w , 因为 Redis 主要是以内存读写为主,效率是非常高的。
Redis 服务器是一个事件驱动的程序,服务器需要处理一下两类事件:
1、文件事件(file event): Redis 服务器通过套接字与客户端(或者其他 Redis 服务器)进行连接,而文件事件就是服务器对套接字操作的抽。服务器与客户端(或者其他服务器)的通讯都会产生相应的文件事件,而服务器则通过监听并且处理这些事件来完成一些列网络通讯操作
2、 事件事件(time event): Redis 服务器中国呢的一些操作(比如 serverCron 函数)需要在给定的事件点执行,而时间事件就是服务器对着咧定时操作的抽象。
文件事件
Redis基于Reactor模式开发了自己的网络事件处理器:这个处理器被称为文件事件处理器(file event handler)
- 文件事件处理器使用I/O多路复用(multiplexing)程序来同时监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的事件处理器。
- 当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)、关闭(close)等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。
文件事件构成,文件事件处理器的4个部分: 套接字、 I/O 多路复用程序、文件事件派发器(dispatcher)、以及事件处理器。
多路复用器, 的所有功能都是通过包装常见的 select、epoll 、evport 和 kququee 这些 i/o 多路复用函数库来实现了,每个 i/o 多路复用器在 redis 中都对应一个单独的文件比如:src\ae_epoll.c
、src\ac_evport.c
、src\ac_kqueue.c
、src\ac_select.c
等。
因为 Redis 每个 I/O 多路复用函数库都实现了相同的 API , 所以 I/O 多路复用程序的底层实现是可以互换的。
Redis 在 I/O 多路复用程序实现源码中通过 #include 宏定义了相应的谷子额,程序会在编译期间自动选择系统中性能最高的 I/O 多路复用函数库来作为 Redis 的 I/O多路复用程序的底层实现:
/* Include the best multiplexing layer supported by this system. * The following should be ordered by performances, descending. */ #ifdef HAVE_EVPORT #include "ae_evport.c" #else #ifdef HAVE_EPOLL #include "ae_epoll.c" #else #ifdef HAVE_KQUEUE #include "ae_kqueue.c" #else #include "ae_select.c" #endif #endif #endif