【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?epoll、poll和select + Reactor模式

简介: 【5月更文挑战第19天】`epoll`、`poll`和`select`是Linux下多路复用IO的三种方式。`select`需要主动调用检查文件描述符,而`epoll`能实现回调,即使不调用`epoll_wait`也能处理就绪事件。`poll`与`select`类似,但支持更多文件描述符。面试时,重点讲解`epoll`的高效性和`Reactor`模式,该模式包括一个分发器和多个处理器,用于处理连接和读写事件。Redis采用单线程模型结合`epoll`的Reactor模式,确保高性能。在Redis 6.0后引入多线程,但基本原理保持不变。

epoll、poll和select

在面试中,这三者有时候会一起问,也就是让你分析三种模型,并且解释三者的优劣。

先来看select,发起select调用的时候会传给select一堆代表连接的文件描述符,内核会帮你检查这些文件描述符。
2024-05-20-21-39-25-image.png

它和epoll的区别是,你必须发起select调用,内核才会一个个帮你问。也就是说,select调用缺乏epoll那种即使你不调用epoll_wait,epoll也会把你准备好的文件描述符放到就绪列表的机制。一句话来说就是:epoll 会提前帮你准备好符合条件的文件描述符,但是 select 不会。

readfds = [] // 一堆文件描述符,作为候选
writefds = [] // 也是一堆文件描述符,作为候选
execpfds = [] // 还是一堆文件描述符,作为候选
select(readfds, writefds, excepfds) // 从这些描述符里面挑出符合条件的

在select方法内部,内核会遍历你传入的这些候选文件描述符,找出你要的。

poll和select的基本原理一样。

面试的时候可以强调一下和性能有关的几个点。


2024-05-20-21-45-06-image.png

在面试中你主要面 epoll 的细节,poll 和 select 你大概提一下就可以。一般情况下你能解释清楚 epoll,就能赢得竞争优势了。在搞清楚了 Redis 使用的系统调用之后,还有一个面试的点,就是 Redis 使用的 Reactor 模式。

Reactor模式

Reactor模式也是广泛使用的IO模式,它的性能很好,Redis也用了Reactor模式。用一句话来说明Reactor模式:一个分发器 + 一堆处理器

一般来说,客户端和服务端的IO交互主要有两类事件:连接事件和读写事件。那么Reactor里面的分发器就是把连接事件交给Acceptor,把读写事件交给对应的Handler。这些Handler最终会调用你真正需要读写数据的业务代码。


2024-05-20-21-47-48-image.png

结合前面讲的epoll,你基本上就能猜到,Redis的Reactor就是调用了epoll,拿到创建连接的套接字,或是可读写的套接字,转发给后面的Acceptor或Handler。


2024-05-20-21-48-53-image.png

在搞清楚这一点之后,接下来你就能够理解各种Reactor的变种了。变种基本上可以分为三类。

  • 把Accetor做成多线程

  • 把Handler做成多线程

  • 把Reactor做成多线程。主线程只监听连接创建的事件,监听到了就交给其他线程处理。其他线程则是监听读写事件,然后调用对应的Handler处理。

2024-05-20-21-51-56-image.png

Redis的特殊之处在于,Redis是单线程的。也就是说,Reactor、Handler、Acceptor都只是一个逻辑上的区分,实际上是同一个线程。所以当面试官问到的时候,把两者结合在一起回答。

为了保证性能最好,Redis使用的是基于epoll的Reactor模式。

Reactor模式可以看成一个分发器 + 一堆处理器。Reactor模式发起epoll之类的系统调用,如果是读写事件,那么就交给Handler处理;如果是连接事件,就交给Acceptor处理。

然后强调一下单线程的Redis是怎么使用这个Reactor模式的。

Redis是单线程模型,所以Reactor、Handler和Acceptor其实都是这个线程。

整个过程是这样的:

  1. Redis中的Reactor调用epoll,拿到符合条件的文件描述符。

  2. 假如说Redis拿到了可读写的描述符,就会执行对应的读写操作。

  3. 如果Redis拿到了创建连接的文件描述符,就会完成连接的初始化,然后准备监听这个连接上的读写事件。

后面在 6.0 的时候,Redis 改成了多线程模型,但是基本原理还是 Reactor + epoll。

最后,你提到了 Redis 的 6.0 新模型,那么面试官就可能会问你两个问题。

  • 同样是基于内存的缓存中间件,为什么 Memcache 用的是多线程模型,而 Redis 用的是单线程模型?

  • Redis 为什么最终又引入了多线程模型?和原本的单线程模型比起来,区别在哪里?

目录
相关文章
|
9月前
|
负载均衡 算法 安全
基于Reactor模式的高性能网络库之线程池组件设计篇
EventLoopThreadPool 是 Reactor 模式中实现“一个主线程 + 多个工作线程”的关键组件,用于高效管理多个 EventLoop 并在多核 CPU 上分担高并发 I/O 压力。通过封装 Thread 类和 EventLoopThread,实现线程创建、管理和事件循环的调度,形成线程池结构。每个 EventLoopThread 管理一个子线程与对应的 EventLoop(subloop),主线程(base loop)通过负载均衡算法将任务派发至各 subloop,从而提升系统性能与并发处理能力。
473 3
|
10月前
|
机器学习/深度学习 监控 算法
局域网行为监控软件 C# 多线程数据包捕获算法:基于 KMP 模式匹配的内容分析优化方案探索
本文探讨了一种结合KMP算法的多线程数据包捕获与分析方案,用于局域网行为监控。通过C#实现,该系统可高效检测敏感内容、管理URL访问、分析协议及审计日志。实验表明,相较于传统算法,KMP在处理大规模网络流量时效率显著提升。未来可在算法优化、多模式匹配及机器学习等领域进一步研究。
259 0
|
SQL 数据建模 BI
【YashanDB 知识库】用 yasldr 配置 Bulkload 模式作单线程迁移 300G 的业务数据到分布式数据库,迁移任务频繁出错
问题描述 详细版本:YashanDB Server Enterprise Edition Release 23.2.4.100 x86_64 6db1237 影响范围: 离线数据迁移场景,影响业务数据入库。 外场将部分 NewCIS 的报表业务放到分布式数据库,验证 SQL 性能水平。 操作系统环境配置: 125G 内存 32C CPU 2T 的 HDD 磁盘 问题出现的步骤/操作: 1、部署崖山分布式数据库 1mm 1cn 3dn 单线启动 yasldr 数据迁移任务,设置 32 线程的 bulk load 模式 2、观察 yasldr.log 是否出现如下错
|
缓存 安全 Java
【JavaEE】——单例模式引起的多线程安全问题:“饿汉/懒汉”模式,及解决思路和方法(面试高频)
单例模式下,“饿汉模式”,“懒汉模式”,单例模式下引起的线程安全问题,解锁思路和解决方法
|
存储 缓存 监控
后端开发中的缓存机制:深度解析与最佳实践####
本文深入探讨了后端开发中不可或缺的一环——缓存机制,旨在为读者提供一份详尽的指南,涵盖缓存的基本原理、常见类型(如内存缓存、磁盘缓存、分布式缓存等)、主流技术选型(Redis、Memcached、Ehcache等),以及在实际项目中如何根据业务需求设计并实施高效的缓存策略。不同于常规摘要的概述性质,本摘要直接点明文章将围绕“深度解析”与“最佳实践”两大核心展开,既适合初学者构建基础认知框架,也为有经验的开发者提供优化建议与实战技巧。 ####
|
NoSQL Java Redis
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
这篇文章介绍了如何使用Spring Boot整合Apache Shiro框架进行后端开发,包括认证和授权流程,并使用Redis存储Token以及MD5加密用户密码。
478 0
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
|
设计模式 NoSQL 网络协议
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
254 2
|
NoSQL 网络协议 应用服务中间件
redis,memcached,nginx网络组件
redis,memcached,nginx网络组件
169 0
|
存储 缓存 NoSQL
深入理解后端缓存机制的重要性与实践
本文将探讨在后端开发中缓存机制的应用及其重要性。缓存,作为提高系统性能和用户体验的关键技术,对于后端开发来说至关重要。通过减少数据库访问次数和缩短响应时间,缓存可以显著提升应用程序的性能。本文将从缓存的基本概念入手,介绍常见的缓存策略和实现方式,并通过实例展示如何在后端开发中有效应用缓存技术。最后,我们将讨论缓存带来的一些挑战及其解决方案,帮助您在实际项目中更好地利用缓存机制。
下一篇
开通oss服务