Redis学习笔记-高性能IO模型&Redis6.0多线程

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis学习笔记-高性能IO模型&Redis6.0多线程

前面的文章简单介绍了 Redis 的底层数据结构,合理地使用底层数据结构可以提升 Redis 读写速度,而 Redis 很快的原因主要有 内存(大部分操作是在内存完成的)、数据结构、IO多路复用机制,这篇文章主要探讨一下 Redis高性能IO模型,为什么单线程 Redis 能每秒处理数十万级的数据,以及 Redis6.0 的多线程解决是什么问题。

1.笔记图


2.Redis 单线程含义


  • Redis 的网络 IO 和键值对读写是由一个线程来完成的
  • Redis 其他功能,如持久化、异步删除、集群数据同步等其实都是由额外线程执行

3.Redis单线程设计

3.1 多线程需要解决的问题

  • 多线程设计合理会增加吞吐量(每秒处理的请求),若设计不良好甚至可能会出现吞吐率下降的情况
  • 系统中通常会存在被多线程共享访问的资源
  • 多线程编程模式面临共享资源并发访问控制问题

3.2 单线程 Redis 为什么那么快?

  • 通常单线程处理能力要比多线程差很多,但 Redis 却能使用单线程模型有每秒处理数十万数据级别的能力
  • Redis 大部分操作是在内存完成的
  • Redis 底层数据结构,如 哈希表、跳表、双向链表
  • 多路复用机制

4.多路复用机制

       Redis 多路复用机制在网络 IO 操作中能并发处理大量的客户端请求,实现高吞吐率(每秒处理的请求数)。

4.1 IO 模型

  • 监听客户端请求(bind/listen)
  • 和客户端建立连接(accept)
  • 从socket中读取请求(recv)
  • 解析客户端发送请求(parse)
  • 根据请求类型读取键值数据(get)
  • 返回给客户端(send)

4.2 潜在阻塞点

  • accept:当 Redis 监听到一个客户端有连接请求,但一直未能成功建立起连接时,会阻塞其他客户端和 Redis 建立连接
  • recv:当 Redis 通过 recv() 从一个客户端读取数据时,如果一直没有到达,Redis 也会一直阻塞在 recv()

4.3 socket网络模型非阻塞模式

  • socket()方法:socket()方法会返回主动套接字,然后调用 listen() 方法
  • listen()方法:将主动套接字转化为监听套接字,此时可以用来监听来自客户端的连接请求,可设置 accept() 非阻塞模式
  • accept()方法:最后调用 accept() 方法接收到达的客户端连接,并返回连接套接字,可设置 send()/recv() 非阻塞模式

4.4 基于多路复用的高性能 IO 模型 select/epoll

  • 虽然 Redis 线程可以不用继续等待,但是总得有机制继续在监听套接字上等待后续连接请求,并在有请求时通知 Redis
  • 该机制允许内核中同时存在多个监听套接字和已连接套接字
  • Redis 网络框架调用 epoll 机制,让内核监听这些套接字
  • Redis 线程不会阻塞在某一个特定的监听或已连接的套接字上(即不会阻塞在某个请求)
  • 为了在请求到达时能通知到 Redis 线程,select/epoll 提供了事件的回调机制,针对不同事件的发生调用相应的处理函数
  • 避免 Redis 轮询是否有请求,避免造成CPU资源浪费,select/epoll 一旦监测到 FD 上有请求到达时,就会触发相应的事件

5.Redis 6.0 多线程

5.1 使用多线程原因

  • 随着网络硬件的性能提升,Redis 的性能瓶颈有时会出现在网络 IO 的处理上
  • 单个主线程处理网络请求的速度跟不上底层网络硬件的速度

5.2 对应网络 IO 瓶颈方法

  • 用户态网络协议栈(例如 DPDK)取代内核网络协议栈,让网络请求的处理不用在内核里执行,直接在用户态完成处理就行,该方法需要修改网络源码,可能引入新BUG,导致不稳定,该方法没有采用
  • 采用多个IO线程处理网络请求
  • 阶段一:服务端和客户端建立 Socket 连接,并分配处理线程
  • 阶段二:IO 线程读取并解析请求(有多个 IO 线程在并行处理)
  • 阶段三:主线程执行请求操作
  • 阶段四:IO 线程回写 Socket 和主线程清空全局队列

5.3 Redis6.0 多线程开启方式

  • 需要在 redis.conf 中设置 io-thread-do-reads 配置项为 yes,表示启用多线程
  • 需要在 redis.conf 中设置线程个数。一般来说,线程个数要小于 Redis 实例所在机器的 CPU 核个数,例如,对于一个 8 核的机器来说,Redis 官方建议配置 6IO 线程

5.4 优化建议

       如果你在实际应用中,发现 Redis 实例的 CPU 开销不大,吞吐量却没有提升,可以考虑使用 Redis 6.0 的多线程机制,加速网络处理,进而提升实例的吞吐量。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
4月前
|
监控 NoSQL 安全
如何在 Redis 中正确使用多线程?
【10月更文挑战第16天】正确使用 Redis 多线程需要综合考虑多个因素,并且需要在实践中不断摸索和总结经验。通过合理的配置和运用,多线程可以为 Redis 带来性能上的提升,同时也要注意避免可能出现的问题,以保障系统的稳定和可靠运行。
97 2
|
4月前
|
存储 NoSQL Redis
Redis 新版本引入多线程的利弊分析
【10月更文挑战第16天】Redis 新版本引入多线程是一个具有挑战性和机遇的改变。虽然多线程带来了一些潜在的问题和挑战,但也为 Redis 提供了进一步提升性能和扩展能力的可能性。在实际应用中,我们需要根据具体的需求和场景,综合评估多线程的利弊,谨慎地选择和使用 Redis 的新版本。同时,Redis 开发者也需要不断努力,优化和完善多线程机制,以提供更加稳定、高效和可靠的 Redis 服务。
107 1
|
4月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
99 6
|
2月前
|
NoSQL Redis
单线程传奇Redis,为何引入多线程?
Redis 4.0 引入多线程支持,主要用于后台对象删除、处理阻塞命令和网络 I/O 等操作,以提高并发性和性能。尽管如此,Redis 仍保留单线程执行模型处理客户端请求,确保高效性和简单性。多线程仅用于优化后台任务,如异步删除过期对象和分担读写操作,从而提升整体性能。
79 1
|
3月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
68 5
|
5月前
|
消息中间件 存储 NoSQL
剖析 Redis List 消息队列的三种消费线程模型
Redis 列表(List)是一种简单的字符串列表,它的底层实现是一个双向链表。 生产环境,很多公司都将 Redis 列表应用于轻量级消息队列 。这篇文章,我们聊聊如何使用 List 命令实现消息队列的功能以及剖析消费者线程模型 。
134 20
剖析 Redis List 消息队列的三种消费线程模型
|
4月前
|
存储 运维 NoSQL
Redis为什么最开始被设计成单线程而不是多线程
总之,Redis采用单线程设计是基于对系统特性的深刻洞察和权衡的结果。这种设计不仅保持了Redis的高性能,还确保了其代码的简洁性、可维护性以及部署的便捷性,使之成为众多应用场景下的首选数据存储解决方案。
59 1
|
4月前
|
NoSQL Redis 数据库
Redis单线程模型 redis 为什么是单线程?为什么 redis 单线程效率还能那么高,速度还能特别快
本文解释了Redis为什么采用单线程模型,以及为什么Redis单线程模型的效率和速度依然可以非常高,主要原因包括Redis操作主要访问内存、核心操作简单、单线程避免了线程竞争开销,以及使用了IO多路复用机制epoll。
80 0
Redis单线程模型 redis 为什么是单线程?为什么 redis 单线程效率还能那么高,速度还能特别快
|
5月前
|
存储 缓存 NoSQL
Redis的高性能之谜
Redis的高性能之谜
53 5
|
5月前
|
NoSQL 网络协议 Unix
1)Redis 属于单线程还是多线程?不同版本之间有什么区别?
1)Redis 属于单线程还是多线程?不同版本之间有什么区别?
136 1