Redis5.0数据淘汰策略详解(最新版本,面试常问)

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 作为一个内存数据库,redis在内存空间不足的时候,为了保证命中率,就会选择一定的数据淘汰策略,这篇文章主要讲解常见的几种内存淘汰策略。和我们操作系统中的页面置换算法类似。

一、参数设置


我们的redis数据库的最大缓存、主键失效、淘汰机制等参数都是通过配置文件来配置的。这个文件是我们的redis.config文件,我们的redis装在了/usr/local/redis目录下,所以配置文件也在这里。首先说明一下我使用的redis是5。也是目前最新的版本。


1、最大内存参数

v2-646134395f65379e0f3b6b0d31c3a7a0_1440w.jpg关键的配置就在最下面,我们可以设置多少个字节。默认是关闭的。


2、内存淘汰策略

v2-7ec5e55aeb286c7b31ddf49d108476cc_1440w.jpg

不同于之前的版本,redis5.0为我们提供了八个不同的内存置换策略。很早之前提供了6种。


(1)volatile-lru:从已设置过期时间的数据集中挑选最近最少使用的数据淘汰。


(2)volatile-ttl:从已设置过期时间的数据集中挑选将要过期的数据淘汰。


(3)volatile-random:从已设置过期时间的数据集中任意选择数据淘汰。


(4)volatile-lfu:从已设置过期时间的数据集挑选使用频率最低的数据淘汰。


(5)allkeys-lru:从数据集中挑选最近最少使用的数据淘汰


(6)allkeys-lfu:从数据集中挑选使用频率最低的数据淘汰。


(7)allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰


(8) no-enviction(驱逐):禁止驱逐数据,这也是默认策略。意思是当内存不足以容纳新入数据时,新写入操作就会报错,请求可以继续进行,线上任务也不能持续进行,采用no-enviction策略可以保证数据不被丢失。


这八种大体上可以分为4中,lru、lfu、random、ttl。


二、淘汰机制的实现


1、删除失效主键


既然是淘汰,那就需要把这些数据给删除,然后保存新的。Redis 删除失效主键的方法主要有两种:


(1)消极方法(passive way),在主键被访问时如果发现它已经失效,那么就删除它。redis在实现GET、MGET、HGET、LRANGE等所有涉及到读取数据的命令时都会调用 expireIfNeeded,它存在的意义就是在读取数据之前先检查一下它有没有失效,如果失效了就删除它。

1int expireIfNeeded(redisDb *db, robj *key) {
 2    //获取主键的失效时间
 3    long long when = getExpire(db,key);
 4    //假如失效时间为负数,说明该主键未设置失效时间(失效时间默认为-1),直接返回0
 5    if (when < 0) return 0;
 6    //假如Redis服务器正在从RDB文件中加载数据,暂时不进行失效主键的删除,直接返回0
 7    if (server.loading) return 0;
 8    /*假如当前的Redis服务器是作为Slave运行的,那么不进行失效主键的删除,因为Slave
 9    上失效主键的删除是由Master来控制的,但是这里会将主键的失效时间与当前时间进行
10    一下对比,以告知调用者指定的主键是否已经失效了*/
11    if (server.masterhost != NULL) {
12        return mstime() > when;
13    }
14    /*如果以上条件都不满足,就将主键的失效时间与当前时间进行对比,如果发现指定的主键
15    还未失效就直接返回0*/
16    if (mstime() <= when) return 0;
17    /*如果发现主键确实已经失效了,那么首先更新关于失效主键的统计个数,然后将该主键失
18    效的信息进行广播,最后将该主键从数据库中删除*/
19    server.stat_expiredkeys++;
20    propagateExpire(db,key);
21    return dbDelete(db,key);
22}

expireIfNeeded函数中调用的另外一个函数propagateExpire,这个函数用来在正式删除失效主键,并且广播告诉其他地方,目的地有俩:AOF文件,将删除失效主键的这一操作以DEL Key的标准命令格式记录下来;另一个就是发送到当前Redis服务器的所有Slave,同样将删除失效主键的这一操作以DEL Key的标准命令格式告知这些Slave删除各自的失效主键。

1void propagateExpire(redisDb *db, robj *key) {
 2    robj *argv[2];
 3    //shared.del是在Redis服务器启动之初就已经初始化好的一个常用Redis对象,即DEL命令
 4    argv[0] = shared.del;
 5    argv[1] = key;
 6    incrRefCount(argv[0]);
 7    incrRefCount(argv[1]);
 8    //检查Redis服务器是否开启了AOF,如果开启了就为失效主键记录一条DEL日志
 9    if (server.aof_state != REDIS_AOF_OFF)
10        feedAppendOnlyFile(server.delCommand,db->id,argv,2);
11    /*检查Redis服务器是否拥有Slave,如果是就向所有Slave发送DEL失效主键的命令,这就是
12    上面expireIfNeeded函数中发现自己是Slave时无需主动删除失效主键的原因了,因为它
13    只需听从Master发送过来的命令就OK了*/
14    if (listLength(server.slaves))
15        replicationFeedSlaves(server.slaves,db->id,argv,2);
16    decrRefCount(argv[0]);
17    decrRefCount(argv[1]);
18}

(2)积极方法(active way),周期性地探测,发现失效就删除。消极方法的缺点是,如果key 迟迟不被访问,就会占用很多内存空间,所以才有积极方式。


(3)主动删除:当内存超过maxmemory限定时,触发主动清理策略,该策略由启动参数的配置决定


主键具体的失效时间全部都维护在expires这个字典表中:

1typedef struct redisDb {
2  dict *dict; //key-value
3  dict *expires;  //维护过期key
4  dict *blocking_keys;
5  dict *ready_keys;
6  dict *watched_keys;
7  int id;
8} redisDb;

2、淘汰数据的量


既然是淘汰数据,那么淘汰多少合适呢?


为了避免频繁的触发淘汰策略,每次会淘汰掉一批数据,淘汰的数据的大小其实是和置换的大小来确定的,如果置换的数据量大,淘汰的肯定也多。


3、置换策略是如何工作


理解置换策略的执行方式是非常重要的,比如:


(1)客户端执行一条新命令,导致数据库需要增加数据(比如set key value)


(2)Redis会检查内存使用,如果内存使用超过maxmemory,就会按照置换策略删除一些key



(3)新的命令执行成功

OK,redis数据淘汰策略就先到这,版本使用的是最新的5。可能会和3不同。



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
1月前
|
NoSQL Redis
Redis的数据淘汰策略有哪些 ?
Redis 提供了 8 种数据淘汰策略,分为淘汰易失数据和淘汰全库数据两大类。易失数据淘汰策略包括:volatile-lru、volatile-lfu、volatile-ttl 和 volatile-random;全库数据淘汰策略包括:allkeys-lru、allkeys-lfu 和 allkeys-random。此外,还有 no-eviction 策略,禁止驱逐数据,当内存不足时新写入操作会报错。
60 16
|
1月前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
13天前
|
NoSQL 算法 Redis
redis内存淘汰策略
Redis支持8种内存淘汰策略,包括noeviction、volatile-ttl、allkeys-random、volatile-random、allkeys-lru、volatile-lru、allkeys-lfu和volatile-lfu。这些策略分别针对所有键或仅设置TTL的键,采用随机、LRU(最近最久未使用)或LFU(最少频率使用)等算法进行淘汰。
30 5
|
13天前
|
NoSQL 安全 Redis
redis持久化策略
Redis 提供了两种主要的持久化策略:RDB(Redis DataBase)和AOF(Append Only File)。RDB通过定期快照将内存数据保存为二进制文件,适用于快速备份与恢复,但可能因定期保存导致数据丢失。AOF则通过记录所有写操作来确保数据安全性,适合频繁写入场景,但文件较大且恢复速度较慢。两者结合使用可增强数据持久性和恢复能力,同时Redis还支持复制功能提升数据可用性和容错性。
36 5
|
1月前
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
在项目中,为了解决Redis与Mysql的数据一致性问题,我们采用了多种策略:对于低一致性要求的数据,不做特别处理;时效性数据通过设置缓存过期时间来减少不一致风险;高一致性但时效性要求不高的数据,利用MQ异步同步确保最终一致性;而对一致性和时效性都有高要求的数据,则采用分布式事务(如Seata TCC模式)来保障。
59 14
|
26天前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
37 5
|
1月前
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用哈希槽分区算法,共有16384个哈希槽,每个槽分配到不同的Redis节点上。数据操作时,通过CRC16算法对key计算并取模,确定其所属的槽和对应的节点,从而实现高效的数据存取。
48 13
|
26天前
|
存储 NoSQL 算法
阿里面试:亿级 redis 排行榜,如何设计?
本文由40岁老架构师尼恩撰写,针对近期读者在一线互联网企业面试中遇到的高频面试题进行系统化梳理,如使用ZSET排序统计、亿级用户排行榜设计等。文章详细介绍了Redis的四大统计(基数统计、二值统计、排序统计、聚合统计)原理和应用场景,重点讲解了Redis有序集合(Sorted Set)的使用方法和命令,以及如何设计社交点赞系统和游戏玩家排行榜。此外,还探讨了超高并发下Redis热key分治原理、亿级用户排行榜的范围分片设计、Redis Cluster集群持久化方式等内容。文章最后提供了大量面试真题和解决方案,帮助读者提升技术实力,顺利通过面试。
|
27天前
|
存储 NoSQL 算法
面试官:Redis 大 key 多 key,你要怎么拆分?
本文介绍了在Redis中处理大key和多key的几种策略,包括将大value拆分成多个key-value对、对包含大量元素的数据结构进行分桶处理、通过Hash结构减少key数量,以及如何合理拆分大Bitmap或布隆过滤器以提高效率和减少内存占用。这些方法有助于优化Redis性能,特别是在数据量庞大的场景下。
面试官:Redis 大 key 多 key,你要怎么拆分?
|
7月前
|
存储 NoSQL Redis
redis存储原理和数据模型
redis存储原理和数据模型
67 1