redis入门到精通系列(五):redis的持久化看这一篇就够了

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 持久化顾名思义就是将存储在内存的数据转存到硬盘中。在生活中使用word等应用的时候,如果突然遇到断电的情况,理论上数据应该是都不见的,因为没有保存的word内容都存放在内存里,断电后就会清空,但是重新开启电脑后会发现有一个~$xx.docx的文件,虽然不一定保存所有数据,但是会将大部分数据保存下来,这种“自动备份”这就是持久化的一种实际案例。

网络异常,图片无法展示
|


点赞再看,养成习惯,听说微信搜《Java鱼仔》会让自己的技术更上一层楼


(一)持久化的概述


持久化顾名思义就是将存储在内存的数据转存到硬盘中。在生活中使用word等应用的时候,如果突然遇到断电的情况,理论上数据应该是都不见的,因为没有保存的word内容都存放在内存里,断电后就会清空,但是重新开启电脑后会发现有一个~$xx.docx的文件,虽然不一定保存所有数据,但是会将大部分数据保存下来,这种“自动备份”这就是持久化的一种实际案例。


(二)redis持久化


redis中的持久化有两种形式,一种是文件快照(类似于把文件拍了张照片保存下来),一种是过程日志(把每一步执行的操作保存下来),分别对应于redis中的RDB和AOF操作。


(2.1) RDB


RDB以文件快照的方式保存数据


2.1.1 save操作


使用save指令就能实现RDB的操作,打开redis服务器和客户端,添加一项数据后使用save指令保存。


网络异常,图片无法展示
|


此时这项数据已经以文件快照的方式保存到硬盘中了。在Windows下默认把这个备份文件放在C:\Users\你的用户名\下

网络异常,图片无法展示
|


2.1.2 bgsave操作


由于redis是单线程操作,而save指令的执行可能会阻塞当前Redis服务器,如果save指令执行时间长,后面的指令就都需要等待,所以线上环境不建议使用save。取而代之的是bgsave指令.


bgsave保存操作,但不是立即执行


网络异常,图片无法展示
|


当执行bgsave指令后,Redis会生成一个子进程去执行保存操作,Redis内部所有涉及RDB的操作都采用bgsave。


2.1.3 RDB设置


如果需要修改存放位置等信息,就需要进入到redis配置文件中修改,打开你的redis安装目录,选中下图配置文件



网络异常,图片无法展示
|


可以看到文件中有许多注解和参数,下面介绍几个:


dbfilenamedump.rdb文件名dir ./文件的保存路径,默认./rdbcompressionyes存储至本地时是否压缩数据,默认开启rdbchecksumyes是否进行RDB文件格式校验,默认开启savesecondchanges在second时间内发生了changes次变化就执行持久化如:save9001,通常配置文件中会设置多个持久化规则


需要注意的是:Redis想要让配置文件中的信息生效,需要在启动服务时加上配置文件路径


网络异常,图片无法展示
|


2.1.4 RDB触发机制


1.save的规则满足的情况下,会自动触发rdb规则 2.执行flushall命令,也会触发我们的rdb规则 3.退出redis,也会产生rdb文件


2.1.5 如何恢复rdb文件


1.只需要将rdb文件放在我们redis的启动目录就可以,redis启动时会自动检查dump.rdb恢复其中的数据。 2.查看需要存在的位置


127.0.0.1:6379> config get dir
1) "dir"
2) "/data"


2.1.6 RDB优缺点


首先是优点:RDB是紧凑压缩的二进制文件,存储效率高。 RDB存储的是某个时间点内的数据快照,适用于数据备份,全量复制等场景。 RDB数据恢复速度快于AOF缺点:RDB无法做到实时持久化 bgsave运行时要启动一个子进程,牺牲了部分性能 RDB可能会出现不同版本服务器之间冲突的问题


(2.2) AOF(Append Only File)


AOF以过程日志的方式保存每次的命令,保证了数据持久化的实时性



网络异常,图片无法展示
|


其中需要注意的是第三步,何时把数据从缓存放入硬盘是一个问题。AOF提供了三种策略

1.always(每次):数据零误差,性能低 2.everysec(每秒):准确性较高,性能较高 3.no(系统控制):不可控


2.2.1 开启AOF


在配置文件中找到appendonly,默认是no,改为yes为开启 可以看到在原本生成dump.rdb的同级目录下出现了appendonly.aof,这个文件记录了所有的操作。


2.2.2 AOF重写


随着命令不断写入AOF,文件会越来越大,为了解决这个问题,Redis引入了AOF重写机制压缩文件体积。AOF文件重写是将Redis进程内的数据转化为写命令同步到新AOF文件的过程。简单说就是将对同一个数据的若干个条命令执行结果转化成最终结果数据对应的指令进行记录。 AOF重写规则有以下几点:


进程内已超时的数据不再写入文件
忽略无效指令,重写时使用进程内数据直接生成
对同一数据的多条命令合并为一条命令,如lpush a a,lpush a b转化为lpush a a b


重写的方式 手动重写


bgrewriteaof


自动重写在配置文件中配置


//自动重写触发条件设置
auto-aof-rewrite-min-size size
auto-aof-rewrite-percentage percent


第一条配置是让当前的size和设定的size作比较,当前size大于设定size就执行重写 第二条配置是按设定的百分比作比较,(当前的size-aof_base_size)/ aof_base_size的值大于百分比就执行重写


2.2.3 AOF的优缺点:


优点: 1.每次修改都同步,文件的完整性会更好 2.每秒同步一次,可能会丢失一秒的数据 3.从不同步,效率最好 缺点: 1.相对于数据文件来说,aof远远大于rdb,修复的速度也比rdb慢 2.aof运行效率也要比rdb慢,所以redis默认的配置就是rdb持久化


(2.3) AOF和RDB的区别


两者的区别通过一张表格的形式给到大家:


网络异常,图片无法展示
|


(三)持久化总结


1、RDB持久化方式能够在指定的时间间隔内对你的数据进行快照存储


2、AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以Redis协议追加保存每次写的操作到文件末尾,Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大。


3、只做缓存,如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化


4、同时开启两种持久化方式 在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。 RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件,那要不要只使用AOF呢?作者建议不要,因为RDB更适合用于备份数据库(AOF在不断变化不好备份),快速重启,而且不会有AOF可能潜在的Bug,留着作为一个万一的手段。


5、性能建议 因为RDB文件只用作后备用途,建议只在Slave上持久化RDB文件,而且只要15分钟备份一次就够了,只保留 save 9001这条规则。 如果Enable AOF,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只load自己的AOF文件就可以了,代价一是带来了持续的IO,二是AOF rewrite的最后将 rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可,应该尽量减少AOF rewrite的频率,AOF重写的基础大小默认值64M太小了,可以设到5G以上,默认超过原大小100%大小重写可以改到适当的数值。 如果不EnableAOF,仅靠Master-Slave Repllcation 实现高可用性也可以,能省掉一大笔IO,也减少了rewrite时带来的系统波动。代价是如果Master/Slave同时down掉,会丢失十几分钟的数据,启动脚本也要比较两个Master/Slave中的RDB文件,载入较新的那个,微博就是这种架构。



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
打赏
0
0
0
0
10
分享
相关文章
|
1月前
|
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
Redis 是一个内存数据库,意味着它主要将数据存储在内存中,从而能够提供极高的性能。然而,作为内存数据库,Redis 默认情况下的数据不会永久保存。为了确保数据在重启或故障后能够恢复,Redis 提供了几种 **持久化机制**。这些机制允许 Redis 将内存中的数据保存到硬盘上,从而实现数据持久化。
118 22
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
|
1月前
|
redis持久化策略
Redis 提供了两种主要的持久化策略:RDB(Redis DataBase)和AOF(Append Only File)。RDB通过定期快照将内存数据保存为二进制文件,适用于快速备份与恢复,但可能因定期保存导致数据丢失。AOF则通过记录所有写操作来确保数据安全性,适合频繁写入场景,但文件较大且恢复速度较慢。两者结合使用可增强数据持久性和恢复能力,同时Redis还支持复制功能提升数据可用性和容错性。
63 5
|
2月前
|
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
57 5
【赵渝强老师】Redis的AOF数据持久化
Redis 是内存数据库,提供数据持久化功能,支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作,支持定期重写以压缩文件。默认情况下,AOF 功能关闭,需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小,避免性能下降。
【赵渝强老师】Redis的RDB数据持久化
Redis 是内存数据库,提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式,其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘,确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景,但也有数据完整性和一致性较低及备份时占用内存的缺点。
118 6
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
63 2
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
|
3月前
|
springboot的缓存和redis缓存,入门级别教程
本文介绍了Spring Boot中的缓存机制,包括使用默认的JVM缓存和集成Redis缓存,以及如何配置和使用缓存来提高应用程序性能。
152 1
springboot的缓存和redis缓存,入门级别教程
Redis 入门 - C#.NET Core客户端库六种选择
Redis 入门 - C#.NET Core客户端库六种选择
99 8
大数据-41 Redis 类型集合(2) bitmap位操作 geohash空间计算 stream持久化消息队列 Z阶曲线 Base32编码
大数据-41 Redis 类型集合(2) bitmap位操作 geohash空间计算 stream持久化消息队列 Z阶曲线 Base32编码
40 2
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
86 1