Redis的持久化与数据淘汰策略

简介: Redis的持久化与数据淘汰策略

1 Redis的持久化机制:RDB和AOF


RDB就是快照方式,AOF是记录操作日志的方式。目前Redis持久化的方式不是具体使用某一种,而是两种方式想结合的方式。


同样,我所开发的项目中,涉及到将关系型数据库的数据同步到大数据,实现方式也是类似这两种方式的结合。在启动或初始化的时候,会进行全量同步,类似快照方式,之后会通过监控操作日志的方式进行异步增量同步,之所以要采取异步的方式是要保证不影响上游关系型数据库的正常使用。


下面再回过头来具体介绍一下,两种持久化的方式:


1.1 RDB机制(快照方式)


RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘,实际操作过程是fork一个子进程,先将数据集写入临时文件,写入成功后,再替换之前的文件,用二进制压缩存储。这是默认的持久化方式。


既然RDB机制是通过把某个时刻的所有数据生成一个快照来保存,那么就应该有一种触发机制来实现这个过程。对于RDB来说,提供了三种机制:save、bgsave、自动化。


save触发方式会阻塞当前Redis服务器,执行save命令期间,Redis不能处理其他命令,直到RDB过程完成为止。这种方式显然不可取。


bgsave命令执行时,Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。具体操作是Redis进程执行fork操作创建子进程,RDB持久化过程由子进程负责,完成后自动结束。阻塞只发生在fork阶段,一般时间很短。基本上 Redis 内部所有的RDB操作都是采用 bgsave 命令。


自动触发时由配置文件来完成的,就是指定什么时候将内存中的数据保存到硬盘,比如m秒内数据集存在n次修改时,自动触发。


RDB的优势文件紧凑,全量备份,在恢复大数据集时的速度比 AOF 的恢复速度要快。

RDB的劣势:当进行快照持久化时,会开启一个子进程专门负责快照持久化,子进程会拥有父进程的内存数据,父进程修改内存子进程不会反应出来,所以在快照持久化期间修改的数据不会被保存,可能丢失数据。


1.2 AOF机制(记录操作日志):


AOF持久化以日志的形式记录服务器所处理的每一个写、删除操作,查询操作不会记录,以文本的方式记录,可以打开文件看到详细的操作记录。


详细介绍如下:AOF持久化是指将每一个收到的写命令都通过write函数追加到文件中,通俗的理解就是日志记录。


AOF的方式也同时带来了另一个问题,持久化文件会变的越来越大。为了压缩AOF的持久化文件,redis提供了bgrewriteaof命令,将内存中的数据以命令的方式保存到临时文件中,同时会fork出一条新进程来将文件重写。重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似。


AOF也有三种触发机制:(1)always:每修改一次就同步一次,性能较差,但完整性比较好;(2)everysec:每秒同步,异步操作,如果一秒内宕机,有数据丢失;(3)no:不同步。


AOF的优势:数据能够更好地得到保护,通过everysec机制,最多丢失1秒钟的数据;没有任何磁盘寻址开销,写入性能高;不会对客户端产生影响;比较适合做灾难性的误删除的紧急恢复。


AOF的缺点比RDB数据快照文件更大;AOF开启后,支持写的QPS会比RDB支持写的QPS低。


2 Redis的数据淘汰策略:


2.1 最大参数设置


Redis在参数设置中有一个内存使用上限设置maxmemory,也就是说当redis使用内存达到最大值时,redis会根据配置文件中的策略选取要删除的key,并删除这些key-value的值。若根据配置的策略,没有符合策略的key,也就是说内存已经容不下新的key-value了,但此时又不能删除key,那么这时写的话,将会出现写错误。


若maxmemory参数设置为0,则分两种情况:


(1)在64位系统上,表示没有限制。


(2)在32为系统上,是3G,redis官方文档的说法是,32位系统最大内存是4G,预留1G给系统。而且策略会自动设置为noeviction。也就是说在32位系统上,若maxmemory设置为0,则默认是3G,当到达3G,再往reidis中写入时,则会报错。


2.2 淘汰策略介绍:


Redis在已使用内存达到设定的上限时,提供了6种数据淘汰策略(也就是maxmemory-policy可能的值):


(1)volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰


(2)volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰


(3)volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰


(4)allkeys-lru:从数据集(server.db[i].dict)中挑选最近最少使用的数据淘汰


(5)allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰


(6)no-enviction(驱逐):禁止驱逐数据


2.3 需要注意以下几点:


(1)maxmemory-policy同样可以在运行时设置,用户可以根据内存的使用情况动态的修改淘汰策略。


(2)当redis中的数据有一部分访问频率比较高,另外一部分访问频率较低时,设置allkeys-lru比较合适。或者无法预测数据的使用频率时,allkeys-lru也是不错的选择。


(3)如果你需要循环或者扫描连续数据时,换种说法就是数据的访问概率大致相等时,allkeys-random是不错的选择。


(4)当你想通过设置不同的ttl来控制数据过期的先后顺序时,你可以设置为volatile-ttl。


(5)当你希望一些数据常驻内存,另外一些数据可以被替换掉时,就请用volatile-lru或volatile-random吧。


(6)另外,数据的过期时间是存储在另外一个哈希表中的,因此要耗费更多的内存空间,而allkeys-lru并不需要数据设置过期时间,因此对内存的利用率更高。


(7)volatile-lru, volatile-random 和 volatile-ttl 在没有数据满足被淘汰的条件时,会和noeviction一样返回错误。


2.4 何时触发淘汰数据的动作:


(1)一个客户端执行指令,导致数据的增加时。


(2)Redis检测到内存的使用已经达到上限。


(3)Redis自身执行指令时,等等

相关文章
|
6月前
|
NoSQL 安全 关系型数据库
Redis:持久化的两种方式
Redis持久化机制主要包括RDB和AOF两种方式。RDB通过生成数据快照进行持久化,支持手动或自动触发,具有加载速度快、文件紧凑等特点,但无法实时保存数据。AOF则记录每个操作命令,保障数据更安全,支持多种写入策略,并可通过重写机制优化文件大小。两者各有优劣,常结合使用以兼顾性能与数据安全。
|
10月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
6月前
|
存储 缓存 NoSQL
工作 10 年!Redis 内存淘汰策略 LRU 和传统 LRU 差异,还傻傻分不清
小富带你深入解析Redis内存淘汰机制:LRU与LFU算法原理、实现方式及核心区别。揭秘Redis为何采用“近似LRU”,LFU如何解决频率老化问题,并结合实际场景教你如何选择合适策略,提升缓存命中率。
802 3
|
6月前
|
存储 缓存 NoSQL
Redis持久化深度解析:数据安全与性能的平衡艺术
Redis持久化解决内存数据易失问题,提供RDB快照与AOF日志两种机制。RDB恢复快、性能高,但可能丢数据;AOF安全性高,最多丢1秒数据,支持多种写回策略,适合不同场景。Redis 4.0+支持混合持久化,兼顾速度与安全。根据业务需求选择合适方案,实现数据可靠与性能平衡。(238字)
|
10月前
|
数据采集 存储 NoSQL
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
668 67
|
7月前
|
存储 缓存 人工智能
Redis六大常见命令详解:从set/get到过期策略的全方位解析
本文将通过结构化学习路径,帮助读者实现从命令语法掌握到工程化实践落地的能力跃迁,系统性提升 Redis 技术栈的应用水平。
|
7月前
|
存储 NoSQL 算法
应对Redis中的并发冲突:有效解决策略
以上策略各有优劣:乐观锁和悲观锁控制得当时可以很好地解决并发问题;发布/订阅模式提高了实时响应能力;Lua脚本和Redis事务保证了命令序列的原子性;分布式锁适合跨节点的并发控制;限流措施和持久化配置从系统设计层面减少并发风险;数据分片通过架构上的优化减轻单个Redis节点的负担。正确选择适合自己应用场景的策略,是解决Redis并发冲突的关键。
356 0
|
9月前
|
存储 监控 NoSQL
流量洪峰应对术:Redis持久化策略与内存压测避坑指南
本文深入解析Redis持久化策略与内存优化技巧,涵盖RDB快照机制、AOF重写原理及混合持久化实践。通过实测数据揭示bgsave内存翻倍风险、Hash结构内存节省方案,并提供高并发场景下的主从复制冲突解决策略。结合压测工具链构建与故障恢复演练,总结出生产环境最佳实践清单。
343 9
|
9月前
|
消息中间件 监控 NoSQL
利用RabbitMQ与Redis实现消息的延迟传递的策略
这个系统就如同一个无懈可击的邮局,无论天气如何变换,它都能确保每一封信准时送达。通过巧妙地运用RabbitMQ的DLX和Redis的Sorted Sets,我们搭建了一座桥梁,让即时和延迟消息的传递高效且无缝对接。
162 3
|
9月前
|
存储 缓存 NoSQL
告别数据僵尸!Redis实现自动清理过期键值对
在数据激增的时代,Redis如同内存管理的智能管家,支持键值对的自动过期功能,实现“数据保鲜”。通过`EXPIRE`设定生命倒计时、`TTL`查询剩余时间,结合惰性删除与定期清理策略,Redis高效维护内存秩序。本文以Python实战演示其过期机制,并提供最佳实践指南,助你掌握数据生命周期管理的艺术,让数据优雅退场。
535 0