Redis的持久化与数据淘汰策略

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云原生内存数据库 Tair,内存型 2GB
云数据库 Redis 版,倚天版 1GB 1个月
简介: Redis的持久化与数据淘汰策略

1 Redis的持久化机制:RDB和AOF


RDB就是快照方式,AOF是记录操作日志的方式。目前Redis持久化的方式不是具体使用某一种,而是两种方式想结合的方式。


同样,我所开发的项目中,涉及到将关系型数据库的数据同步到大数据,实现方式也是类似这两种方式的结合。在启动或初始化的时候,会进行全量同步,类似快照方式,之后会通过监控操作日志的方式进行异步增量同步,之所以要采取异步的方式是要保证不影响上游关系型数据库的正常使用。


下面再回过头来具体介绍一下,两种持久化的方式:


1.1 RDB机制(快照方式)


RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘,实际操作过程是fork一个子进程,先将数据集写入临时文件,写入成功后,再替换之前的文件,用二进制压缩存储。这是默认的持久化方式。


既然RDB机制是通过把某个时刻的所有数据生成一个快照来保存,那么就应该有一种触发机制来实现这个过程。对于RDB来说,提供了三种机制:save、bgsave、自动化。


save触发方式会阻塞当前Redis服务器,执行save命令期间,Redis不能处理其他命令,直到RDB过程完成为止。这种方式显然不可取。


bgsave命令执行时,Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。具体操作是Redis进程执行fork操作创建子进程,RDB持久化过程由子进程负责,完成后自动结束。阻塞只发生在fork阶段,一般时间很短。基本上 Redis 内部所有的RDB操作都是采用 bgsave 命令。


自动触发时由配置文件来完成的,就是指定什么时候将内存中的数据保存到硬盘,比如m秒内数据集存在n次修改时,自动触发。


RDB的优势文件紧凑,全量备份,在恢复大数据集时的速度比 AOF 的恢复速度要快。

RDB的劣势:当进行快照持久化时,会开启一个子进程专门负责快照持久化,子进程会拥有父进程的内存数据,父进程修改内存子进程不会反应出来,所以在快照持久化期间修改的数据不会被保存,可能丢失数据。


1.2 AOF机制(记录操作日志):


AOF持久化以日志的形式记录服务器所处理的每一个写、删除操作,查询操作不会记录,以文本的方式记录,可以打开文件看到详细的操作记录。


详细介绍如下:AOF持久化是指将每一个收到的写命令都通过write函数追加到文件中,通俗的理解就是日志记录。


AOF的方式也同时带来了另一个问题,持久化文件会变的越来越大。为了压缩AOF的持久化文件,redis提供了bgrewriteaof命令,将内存中的数据以命令的方式保存到临时文件中,同时会fork出一条新进程来将文件重写。重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似。


AOF也有三种触发机制:(1)always:每修改一次就同步一次,性能较差,但完整性比较好;(2)everysec:每秒同步,异步操作,如果一秒内宕机,有数据丢失;(3)no:不同步。


AOF的优势:数据能够更好地得到保护,通过everysec机制,最多丢失1秒钟的数据;没有任何磁盘寻址开销,写入性能高;不会对客户端产生影响;比较适合做灾难性的误删除的紧急恢复。


AOF的缺点比RDB数据快照文件更大;AOF开启后,支持写的QPS会比RDB支持写的QPS低。


2 Redis的数据淘汰策略:


2.1 最大参数设置


Redis在参数设置中有一个内存使用上限设置maxmemory,也就是说当redis使用内存达到最大值时,redis会根据配置文件中的策略选取要删除的key,并删除这些key-value的值。若根据配置的策略,没有符合策略的key,也就是说内存已经容不下新的key-value了,但此时又不能删除key,那么这时写的话,将会出现写错误。


若maxmemory参数设置为0,则分两种情况:


(1)在64位系统上,表示没有限制。


(2)在32为系统上,是3G,redis官方文档的说法是,32位系统最大内存是4G,预留1G给系统。而且策略会自动设置为noeviction。也就是说在32位系统上,若maxmemory设置为0,则默认是3G,当到达3G,再往reidis中写入时,则会报错。


2.2 淘汰策略介绍:


Redis在已使用内存达到设定的上限时,提供了6种数据淘汰策略(也就是maxmemory-policy可能的值):


(1)volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰


(2)volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰


(3)volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰


(4)allkeys-lru:从数据集(server.db[i].dict)中挑选最近最少使用的数据淘汰


(5)allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰


(6)no-enviction(驱逐):禁止驱逐数据


2.3 需要注意以下几点:


(1)maxmemory-policy同样可以在运行时设置,用户可以根据内存的使用情况动态的修改淘汰策略。


(2)当redis中的数据有一部分访问频率比较高,另外一部分访问频率较低时,设置allkeys-lru比较合适。或者无法预测数据的使用频率时,allkeys-lru也是不错的选择。


(3)如果你需要循环或者扫描连续数据时,换种说法就是数据的访问概率大致相等时,allkeys-random是不错的选择。


(4)当你想通过设置不同的ttl来控制数据过期的先后顺序时,你可以设置为volatile-ttl。


(5)当你希望一些数据常驻内存,另外一些数据可以被替换掉时,就请用volatile-lru或volatile-random吧。


(6)另外,数据的过期时间是存储在另外一个哈希表中的,因此要耗费更多的内存空间,而allkeys-lru并不需要数据设置过期时间,因此对内存的利用率更高。


(7)volatile-lru, volatile-random 和 volatile-ttl 在没有数据满足被淘汰的条件时,会和noeviction一样返回错误。


2.4 何时触发淘汰数据的动作:


(1)一个客户端执行指令,导致数据的增加时。


(2)Redis检测到内存的使用已经达到上限。


(3)Redis自身执行指令时,等等

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
23天前
|
缓存 NoSQL Java
Redis 缓存与数据库数据不一致问题
Redis 缓存与数据库数据不一致问题
51 3
|
1天前
|
存储 NoSQL Redis
Redis存储原理与数据模型
Redis存储原理与数据模型
|
12天前
|
存储 监控 NoSQL
揭秘Redis慢查询:这个工具将彻底改变你的性能优化策略!
【8月更文挑战第8天】在互联网应用中,数据库性能常成瓶颈。Redis作为高速内存数据库亦可能遭遇慢查询问题。本文探讨慢查询成因与解决方法。首先定义慢查询及其影响因素,随后介绍Redis内置的慢查询日志功能,通过配置`slowlog-log-slower-than`与`slowlog-max-len`来监控执行时间过长的命令。利用`SLOWLOG get`命令分析日志,定位性能瓶颈所在。以`LRANGE`命令为例,提出数据结构调整、使用流水线、限制返回元素数量、异步执行及优化内存使用等策略。最终实现Redis性能提升,确保应用流畅运行。性能优化需持续监控、分析与调整。
30 1
|
5天前
|
存储 NoSQL Ubuntu
在Ubuntu 14.04上如何备份和恢复Redis数据
在Ubuntu 14.04上如何备份和恢复Redis数据
11 0
|
5天前
|
缓存 NoSQL Shell
"揭秘!Redis数据导出大揭秘:从繁琐到一键搞定,让你的数据飞跃而出,感受前所未有的数据导出快感!"
【8月更文挑战第15天】Redis是高性能键值存储系统,适用于缓存等多种场景。随数据增长,需导出数据以分析、备份或迁移。本文详述三种导出方法:1) Redis命令与重定向,如SCAN与GET命令结合;2) 利用RDB快照或AOF持久化机制;3) 第三方工具如redis-dump。每种方法各有优势,可根据数据量及需求选择,同时需考虑操作对性能的影响及数据安全。
13 0
|
12天前
|
缓存 NoSQL Redis
redis数据持久化之RDB和AOF
redis数据持久化之RDB和AOF
|
4天前
|
NoSQL 数据可视化 Redis
Mac安装Redis
Mac安装Redis
14 3
|
5天前
|
NoSQL Ubuntu 安全
在Ubuntu 18.04上安装和保护Redis的方法
在Ubuntu 18.04上安装和保护Redis的方法
14 0
|
1天前
|
NoSQL Redis 数据安全/隐私保护
Redis6入门到实战------ 二、Redis安装
这篇文章详细介绍了Redis 6的安装过程,包括下载、解压、编译、安装、配置以及启动Redis服务器的步骤。还涵盖了如何设置Redis以在后台运行,如何为Redis设置密码保护,以及如何配置Redis服务以实现开机自启动。
Redis6入门到实战------ 二、Redis安装