深入浅出Redis(二):Redis单线程模型与通信流程

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 深入浅出Redis(二):Redis单线程模型与通信流程

引言

Redis是一款基于键值对的数据结构存储系统,它的特点是基于内存操作、单线程处理命令、IO多路复用模型处理网络请求、键值对存储与简单丰富的数据结构等等

本篇文章主要围绕Redis中IO多路复用模型处理网络请求的特点来先从介绍IO模型,IO多路复用模型以及客户端与服务端的通信

IO模型

  • IO请求(读)数据会切换至操作系统内核态来完成真正数据读取,而读取又分为两个阶段,分别为:
  1. 等待数据:调用后需要等待数据准备好
  2. 复制数据:当准备好数据后,将数据从内核空间复制到用户空间

常见IO模型

  • 同步阻塞IO:发出IO请求(系统调用)后,阻塞等待内核准备数据,数据准备好了再把数据从内核空间拷贝到用户空间 image.png
  • 一个线程处理一个客户端,同时处理大量网络请求时需要的线程太多 ,且线程IO请求时阻塞
  • 同步非阻塞IO:线程轮循发起IO请求,如果没准备好数据返回告知数据未准备好,这样就会下次再轮循访问,如果数据准备好了就能够将数据从内核空间复制到用户空间

image.png

  • 一个线程处理一个客户端,同时处理大量网络请求时需要的线程太多,虽然线程IO请求时不阻塞,但是轮循发起IO请求会浪费CPU(CPU空转)
  • IO多路复用:使用选择器(select)阻塞等待事件,当监听accept事件说明要建立连接(与对应客户端建立套接字连接才能进行读写事件),一次监听可能携带多个事件需要处理image-20221129073737746
  • 一个线程监听多个客户端,轮循select阻塞,监听到套接字触发读/写事件时再进行处理(循环处理可能有多个客户端同时触发读写事件)

没看懂IO多路复用模型的同学可以继续往下看,下文会详细介绍IO多路复用模型的流程

通信

通信流程主要划分为:服务端要进行初始化,初始化后才开始循环处理事件,服务端在处理事件期间会维护客户端相关信息

服务端初始化

初始化

  1. 初始化服务端默认配置
  2. 根据启动命令更改配置
  3. 初始化数据结构
  4. 根据AOF或RDB恢复数据(根据持久化策略恢复数据,后续持久化文章会详细介绍)
  5. 开始事件循环(处理事件)

处理事件

处理事件可以看成处理客户端请求与维护管理服务端自身的资源

事件被分为文件事件和时间时间

文件事件常是处理客户端请求,时间事件常是定时、周期任务来检查/管理服务端资源

文件事件

Redis 使用IO多路复用模型 监听多个客户端的套接字,当感知到套接字上发生事件时,将事件放入队列中,由文件事件分派器依次取出事件并交给对应事件处理器处理

image.png

事件类型可以分为读事件AE_READABLE、写事件AE_WRITEABLE,读写是以服务器为中心(起始)的,比如客户端发起连接请求、发送命令请求都是触发读事件,而客户端需要读响应时是触发写事件

事件处理器有连接应答处理器(处理连接的读事件),命令请求处理器(处理读事件),命令回复处理器(处理写事件),复制处理器(用于主从复制) 等等,本文主要使用连接应答、命令请求、回复三种处理器

  • 流程
  1. 服务端初始化时,连接应答处理器与服务端监听套接字的读事件关联
  2. 客户端请求连接时,服务端套接字触发读事件,服务端监听到读事件并放入队列中,事件分派器取出后交给连接应答处理器处理,并将客户端套接字的读事件与命令请求处理器关联
  3. 客户端发送命令请求时,客户端套接字触发读事件,服务端监听到读事件并放入队列,事件分派器交给命令请求处理器处理,执行命令,准备回复,将客户端套接字的写事件与命令回复处理器关联
  4. 客户端准备读回复时,客户端套接字触发写事件,服务端监听到写事件并放入队列,事件分派器交给命令回复处理器处理,返回响应,取消命令回复处理器与客户端套接字写事件的关联

image-20221117172239493

时间事件

时间事件分为定时时间事件和周期时间事件,定时为规定事件做一次,周期为以多少时间为周期做一次

时间事件处理器使用链表管理定时、周期事件,定期遍历链表,判断时间事件是否到期,到期则执行,执行完判断时间事件如果为定时则删除,为周期则更改下个周期到达时间

时间事件较少,基本上都是做一些定期检查,主要处理文件事件

服务器优先处理文件事件再处理时间事件

客户端信息

服务端使用RedisClient对象来存储客户端相关信息,使用链表管理RedisClient(所有连接的客户端)

  • redis client 信息
  • 套接字描述符,判断客户端是否为伪客户端
  • aof伪客户端:aof客户端执行aof文件,执行完关闭
  • lua脚本伪客户端:执行lua脚本,整个生命周期都存在
  • 客户端名字、客户端标志(主从,状态等)、是否身份验证
  • 输入缓冲区:保存序列化的命令请求
  • 命令argv 与 参数个数 args :解析序列化命令请求 得到命令与参数个数
  • 命令相关信息cmd : 根据argv 查询字典 得到命令相关的信息rediscommand
  • 输出缓冲区:保存回复响应,如果短字符串使用固定缓冲区(字节数组),如果长字符串使用动态缓冲区(链表+字符串)
  • 时间:记录连接时间等信息

通信流程

  • 服务端处理请求流程
  1. 用户发送命令到客户端,客户端序列化后发送给服务端 (客户端与服务端建立连接时,连接应答处理器处理,让客户端套接字读事件关联到命令请求处理器)
  2. 服务端读取命令请求(监听到读事件发生,最终由命令请求处理器处理)
  • 服务端接收序列化请求,解析出命令和参数个数填充属性argv、args参数
  • 通过命令argv与字典查询该命令相关信息 cmd指向该rediscommand
  1. 服务端执行命令(执行完放到缓冲区,让客户端套接字写事件关联到命令回复处理器)
  • 执行前检查参数个数、身份验证等操作
  • 执行并将回复保存在输出缓冲区
  • 执行后检查慢查询、写AOF缓冲等操作
  1. 服务端回复响应给客户端,客户端反序列化展示给用户(客户端准备读取触发写事件,命令回复处理器处理响应回去,取消关联)

定时任务通常用来管理服务器资源:更新缓冲时间、每秒执行命令数量、已使用内存峰值,处理sigterm信号关闭前RDB,管理客户端连接、数据库资源,判断是否需要持久化等

总结

本文以Redis使用IO多路复用模型处理网络请求的为起点,介绍了IO模型,服务端初始化,服务端处理文件、时间事件,客户端信息以及完整的通信流程

同步阻塞IO模型,在处理大量网络请求时需要耗费一比一的线程,且发生系统调用读数据时线程会阻塞

同步非阻塞IO模型,虽然不阻塞但存在CPU空转,浪费性能

IO多路复用模型使用select监听套接字上的读写事件,select会阻塞,当监听到客户端套接字触发读写事件时,遍历处理所有套接字的读写事件

服务端初始化时主要是根据配置文件以及启动命令进行资源、数据结构的初始化,同时会根据持久化策略寻找RDB、AOF文件进行数据恢复,初始化完才开始循环处理事件

事件可以分为文件事件和时间事件,文件事件常用来处理客户端请求,分为读、写事件,当客户端套接字触发读、写事件时,将事件放入队列,文件事件分派器将队列中的事件依次交给对应的事件处理器;时间事件常是定时、周期任务,用来检查/管理服务端自身资源等

服务端处理事件期间,会使用链表管理维护客户端相关信息:输入缓冲区(序列化的命令请求)、命令与命令参数个数、命令相关信息(通过这些能够执行命令)、输出缓冲区(保存回复响应)

整体流程:

  1. 服务端根据配置文件、启动命令初始化数据结构,将连接应答处理器与服务端监听套接字的读事件关联
  2. 客户端发起请求建立连接时,服务端监听套接字读事件触发,连接应答处理器将客户端套接字读事件与命令请求处理器关联
  3. 当客户端发送到服务端时,触发读事件,由命令请求处理器处理
  • 解析输入缓冲区的序列化请求,解析完保存完善客户端信息(命令相关信息)
  • 执行前检查参数个数、身份验证等
  • 根据客户端保存命令相关信息执行函数
  • 执行后还可能需要检查一些操作(如:检查慢查询、是否要写AOF缓冲区等),执行后将结果保存在输出缓冲区,让客户端套接字写事件关联命令回复处理器
  1. 当客户端准备读时触发写事件,命令回复处理器将输出缓冲区响应返回

最后

  • 参考资料
  • 《Redis深度历险》
  • 《Redis设计与实现》
  • 部分图片可能来源网络


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
13小时前
|
缓存 NoSQL Redis
|
1天前
|
NoSQL Redis 缓存
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?
【5月更文挑战第17天】Redis常被称为单线程,但实际上其在处理命令时采用单线程,但在6.0后IO变为多线程。持久化和数据同步等任务由额外线程处理,因此严格来说Redis是多线程的。面试时需理解Redis的IO模型,如epoll和Reactor模式,以及其内存操作带来的高性能。Redis使用epoll进行高效文件描述符管理,实现高性能的网络IO。在讨论Redis与Memcached的线程模型差异时,应强调Redis的单线程模型如何通过内存操作和高效IO实现高性能。
24 7
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?
|
4天前
|
Linux API 调度
xenomai内核解析-xenomai实时线程创建流程
本文介绍了linux硬实时操作系统xenomai pthread_creta()接口的底层实现原理,解释了如何在双内核间创建和调度一个xenomai任务。本文是基于源代码的分析,提供了详细的流程和注释,同时给出了结论部分,方便读者快速了解核心内容。
21 0
xenomai内核解析-xenomai实时线程创建流程
|
4天前
|
安全 API 数据库
【转】Android线程模型(AsyncTask的使用)
【转】Android线程模型(AsyncTask的使用)
13 1
|
4天前
|
消息中间件 存储 网络协议
Kafka 线程模型痛点攻克: 提升分区写入 2 倍性能
Apache Kafka的单分区写入性能在某些严格保序场景中至关重要,但其现有线程模型限制了性能发挥。本文分析了Kafka的串行处理模型,包括SocketServer、KafkaChannel、RequestChannel等组件,指出其通过KafkaChannel状态机确保请求顺序处理,导致处理效率低下。AutoMQ提出流水线处理模型,简化KafkaChannel状态机,实现网络解析、校验定序和持久化的阶段间并行化,提高处理效率。测试结果显示,AutoMQ的极限吞吐是Kafka的2倍,P99延迟降低至11ms。
22 3
Kafka 线程模型痛点攻克: 提升分区写入 2 倍性能
|
5天前
|
NoSQL Redis
Redis 线程模型
Redis 线程模型
|
2天前
|
Python
|
4天前
|
Java 数据库
【Java多线程】对线程池的理解并模拟实现线程池
【Java多线程】对线程池的理解并模拟实现线程池
17 1
|
3天前
|
监控 Java 测试技术
在多线程开发中,线程死循环可能导致系统资源耗尽,影响应用性能和稳定性
【5月更文挑战第16天】在多线程开发中,线程死循环可能导致系统资源耗尽,影响应用性能和稳定性。为解决这一问题,建议通过日志记录、线程监控工具和堆栈跟踪来定位死循环;处理时,及时终止线程、清理资源并添加错误处理机制;编码阶段要避免无限循环,正确使用同步互斥,进行代码审查和测试,以降低风险。
18 3
|
4天前
|
设计模式 消息中间件 安全
【Java多线程】关于多线程的一些案例 —— 单例模式中的饿汉模式和懒汉模式以及阻塞队列
【Java多线程】关于多线程的一些案例 —— 单例模式中的饿汉模式和懒汉模式以及阻塞队列
12 0