redis为什么这么快?

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: redis为什么这么快?

1 redis的数据时存储在内存中


读取的时候属于纯内存操作,不需要进行磁盘的io,时间复杂度O(1)

要实现高的并发性能,redis是不是要创建非常多的线程呢,恰恰相反,redis是单线程的。


redis为什么是单线程的?


官方解释说,因为单线程已经够用了,CPU 不是 redis 的瓶颈。Redis 的瓶颈最有可能是机器内存或者网络带宽。


单线程为什么这么快?


因为redis是基于内存操作的。


2 redis是单线程的


单线程有如下好处:


不需要频繁创建和销毁线程


单线程保证了系统没有线程的上下文切换


避免线程之间的资源竞争,比如加锁释放锁死锁等


3 异步非阻塞IO,多路复用处理并发连接


传统 I/O 数据拷贝


以读操作为例:当应用程序执行 read 系统调用读取文件描述符(FD)的时候,如果这块数据已经存在于用户进程的页内存中,就直接从内存中读取数据。如果数据不存在,则先将数据从磁盘加载数据到内核缓冲区中,再从内核缓冲区拷贝到用户进程的页内存中。(两次拷贝,两次 user 和 kernel 的上下文切换)。


网络异常,图片无法展示
|


I/O 的阻塞到底阻塞在哪里?


当使用 read 或 write 对某个文件描述符进行过读写时,如果当前 FD 不可读,系统就不会对其他的操作做出响应。从设备复制数据到内核缓冲区是阻塞的,从内核缓冲区拷贝到用户空间,也是阻塞的,直到 copy complete,内核返回结果,用户进程才解除block 的状态。


网络异常,图片无法展示
|


为了解决阻塞的问题,我们有几个思路。


  1. 在服务端创建多个线程或者使用线程池,但是在高并发的情况下需要的线程会很多,系统无法承受,而且创建和释放线程都需要消耗资源。


  1. 由请求方定期轮询,在数据准备完毕后再从内核缓存缓冲区复制数据到用户空间(非阻塞式 I/O),这种方式会存在一定的延迟。


能不能用一个线程处理多个客户端请求?


I/O 多路复用(I/O Multiplexing)


  • I/O 指的是网络 I/O。


  • 多路指的是多个 TCP 连接(Socket 或 Channel)。


  • 复用指的是复用一个或多个线程。


它的基本原理就是不再由应用程序自己监视连接,而是由内核替应用程序监视文件描述符。


客户端在操作的时候,会产生具有不同事件类型的 socket。在服务端,I/O 多路复用程序(I/O Multiplexing Module)会把消息放入队列中,然后通过文件事件分派器(File event Dispatcher),转发到不同的事件处理器中。


网络异常,图片无法展示
|


多路复用有很多的实现,以 select 为例,当用户进程调用了多路复用器,进程会被阻塞。内核会监视多路复用器负责的所有 socket,当任何一个 socket 的数据准备好了,多路复用器就会返回。这时候用户进程再调用 read 操作,把数据从内核缓冲区拷贝到用户空间。


网络异常,图片无法展示
|


所以,I/O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符,而这些文件描述符(套接字描述符)其中的任意一个进入读就绪(readable)状态,select()函数就可以返回。


4 高效的数据结构,合理的数据编码


在 Redis 中,常用的 5 种数据结构和应用场景如下:


String:缓存、计数器、分布式锁等。


List:链表、队列、微博关注人时间轴列表等。


Hash:用户信息、Hash 表等。


Set:去重、赞、踩、共同好友等。


Zset:访问量排行榜、点击量排行榜等。


具体数据结构如何体现出高效,数据编码又如何体现出合理,此处先留个坑,有待后面进行填上。


5 过期数据的删除对 Redis 性能影响


当我们对某些 key 设置了 expire 时,数据到了时间会自动删除。如果一个键过期了,它会在什么时候删除呢?


下面介绍三种删除策略:


定时删除:在这是键的过期时间的同时,创建一个定时器 Timer,让定时器在键过期时间来临时立即执行对过期键的删除。


惰性删除:键过期后不管,每次读取该键时,判断该键是否过期,如果过期删除该键返回空。


定期删除:每隔一段时间对数据库中的过期键进行一次检查。


定时删除:对内存友好,对 CPU 不友好。如果过期删除的键比较多的时候,删除键这一行为会占用相当一部分 CPU 性能,会对 Redis 的吞吐量造成一定影响。


惰性删除:对 CPU 友好,内存不友好。如果很多键过期了,但在将来很长一段时间内没有很多客户端访问该键导致过期键不会被删除,占用大量内存空间。


定期删除:是定时删除和惰性删除的一种折中。每隔一段时间执行一次删除过期键的操作,并且限制删除操作执行的时长和频率。


具体的操作如下:


Redis 会将每一个设置了 expire 的键存储在一个独立的字典中,以后会定时遍历这个字典来删除过期的 key。除了定时遍历外,它还会使用惰性删除策略来删除过期的 key。

Redis 默认每秒进行十次过期扫描,过期扫描不会扫描所有过期字典中的 key,而是采用了一种简单的贪心策略。


从过期字典中随机选择 20 个 key;删除这 20 个 key 中已过期的 key;如果过期 key 比例超过 1/4,那就重复步骤 1。


同时,为了保证在过期扫描期间不会出现过度循环,导致线程卡死,算法还增加了扫描时间上限,默认不会超过 25ms。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
6月前
|
缓存 NoSQL 关系型数据库
记一次redis使用问题
记一次redis使用问题
30 0
|
存储 NoSQL 算法
|
存储 消息中间件 NoSQL
什么是Redis?
redis是一个高性能的key-value数据库。
80 0
|
存储 缓存 NoSQL
Redis初探
本篇深入介绍了Redis(Remote Dictionary Server)这一开源的内存数据存储系统,以及它在现代应用开发中的用途和优势。首先,我们对Redis进行了初步探索,解释了Redis是什么,它的主要特点以及适用场景。接着,我们详细讨论了Redis的安装和配置过程,提供了在Linux环境下安装Redis的步骤,并展示了如何启动和关闭Redis服务器。
227 0
|
设计模式 移动开发 缓存
可算知道Redis为什么这么快了
可算知道Redis为什么这么快了
144 0
|
存储 缓存 NoSQL
redis 问答
redis 问答
115 0
redis 问答
|
存储 消息中间件 缓存
Redis总结(一)
Redis 的全称是:Remote Dictionary.Server,本质上是一个 Key-Value 类型的内存数据库,很像memcached,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据 flush 到硬盘上进行保存。因为是纯内存操作,Redis 的性能非常出色,每秒可以处理超过 10 万次读写操作,是已知性能最快的Redis 的出色之处不仅仅是性能,Redis 最大的魅力是支持保存多种数据结构,此外单个 value 的最大限。
135 0
|
存储 消息中间件 缓存
Redis的使用
Redis的使用
286 0
Redis的使用
|
NoSQL Redis 数据库
Redis为何这么快?(上)
为啥就Redis这么突出? 它是内存数据库,所有操作都在内存上完成,内存的访问速度本身就很快 数据结构 键值对是按一定的数据结构来组织的,操作键值对最终就是对数据结构进行增删改查操作,所以高效的数据结构是Redis快速处理数据的基础
162 0
Redis为何这么快?(上)
|
NoSQL Redis
Redis - RedisShardedPoolUtil & RedisShardedPool
Redis - RedisShardedPoolUtil & RedisShardedPool
126 0
下一篇
DataWorks