【Redis】Redis RDB持久化

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 【Redis】Redis RDB持久化

一、持久化简介

什么是持久化?

将内存中的数据保存至永久性存储介质称为持久化

为什么要持久化?

防止数据的意外丢失,确保数据安全性

如何防止数据丢失?

  • RDB:快照形式,保存当前数据状态,存储数据结果,存储格式简单,关注点在数据
  • AOF:日志形式,保存数据的操作过程,存储操作过程,存储格式复杂,关注点在数据的操作过程

image.png

二、数据快照RDB

1. save指令

使用save指令即可通过RBD方式进行数据持久化,需要手动执行save操作,持久化时会把redis中的数据默认保存在dump.rdb中,可在配置文件中指定目录

image.png

客户端在内存创建数据,并进行save持久化

image.png

查看指定dump.rdb中是否有内容

image.png

这就表示内存中的数据已经保存在硬盘文件里了

2. RDB文件相关配置


dbfilename dump.rdb
  • 说明:设置本地数据库文件名,默认为dump.rdb
  • 经验:通常设置为dump-端口号.rdb


dir
  • 说明:设置存储.rdb文件的路径
  • 经验:通常设置成存储空间较大的目录中,目录名称data


rdbcompression yes
  • 说明:设置存储至本地数据库时是否压缩数据,默认为yes,采用LZF压缩
  • 经验:通常默认为开启状态,如果设置成no,可以节省CPU运行时间,但会使存储的文件变大(巨大)


rdbchecksum yes
  • 说明:设置读写.rdb文件时是否进行RDB文件的校验,该校验过程在写文件和读文件过程均进行,避免读写已损坏的文件
  • 经验:通常默认为开启状态,如果设置为no,可以节约读写性过程约10%时间消耗,但是存储一定的数据损坏风险


stop-writes-on-bgsave-error yes
  • 说明:后台存储过程中如果出现错误,是否停止保存操作
  • 经验:通常默认为开启状态

修改配置后,需要重启服务程序才能生效,重启后将按照配置文件指定的文件路径和工作方式运行

image.png

验证save后数据保存在了rdb文件

服务端杀掉进程后,重新使用配置文件启动

image.png

客户端创建两个数据并save

image.png

查看rdb文件,已有相关记录

image.png

验证重启服务后,程序会从rdb文件中恢复数据到内存

image.png

客户端重新连接,发现数据还存在,这是因为服务进程启动时读取了rdb文件,进而恢复到内存中

image.png

3. bgsave指令

Redis是单线程的,所有命令都会在队列中排好队,不建议使用save指令,因为save指令的执行会阻塞当前Redis服务器,直到当前RDB过程完成,有可能会造成长时间阻塞,线上环境不建议使用

image.png

访问量很大时,单线程又得执行save,还得处理客户请求,造成效率降低,如何处理?

用bgsave解决:客户端发送bgsave后,redis会选择一个合适的时间执行后台执行,并不是像save一样收到指令立即执行

image.png

注意: bgsave命令是针对save阻塞问题做的优化,Redis内部所有涉及到RDB操作都采用bgsave的方式,save命令可以放弃使用

验证bgsave工作原理

客户端发送bgsave,可以看到给我们提示的是Background saving started

image.png

我们查看RDB文件,已经数据addr保存好了

image.png

我们查看一下日志文件(配置文件中的logfile)

image.png

4. 配置自动持久化

到目前为止,save和bgsave都是手动的保存指令,那么会引入以下问题:

  • 反复执行保存命令,忘记了怎么办?
  • 不知道数据产生了多少变化,何时保存?

Redis提供了一种自动进行数据持久化的方式:指定时间范围内,发生变化(这个变化包括增加、修改、删除)的key达到指定数量就进行持久化,需要在配置文件中进行一下配置:


save second changes
  • second:监控时间范围
  • changes:监控key的变化量


save 900 1        # 900s内有1个key发生变化,则进行bgsave持久化
save 300 10       # 300s内有10个key发生变化,则进行bgsave持久化
save 60 10000     # 60s内有10000个key发生变化,则进行bgsave持久化

修改配置conf文件

image.png

启动服务程序

image.png

客户端添加一个数据

image.png

查看服务器是否进行了持久化(rdb文件已提前清空)

image.png

客户端再添加一条数据,此时服务器按照配置文件,自动执行bgsave

image.png

此时服务器的rdb文件已经出现

image.png

image.png

无论get多少次,数据都不会改变,不会进行持久化;由于不进行数据比对,也就意味着对同一个数据连续修改两次,也会进行持久化

save使用注意事项:

  • save配置要根据实际业务情况进行设置,持久化的频度过高或过低都会出现性能问题,结果可能是灾难性的
  • save配置中对second与changes设置通常具有互补对应关系,尽量不要设置成包含性关系
  • save配置启动后执行的是bgsave操作

5. RDB三种启动方式对比

由于配置文件启动save的方式,执行的就是bgsave,这里只比较save和bgsave

image.png

  • save:由单进程执行,是同步的;save和其他的客户端请求都是排队处理的,若执行时间过长会阻塞其他指令;没有fork子进程,无额外内存消耗
  • bgsave:由子进程执行,主进程可以继续处理其他请求,不会阻塞其他指令,是异步的,同时有额外内存开销(子进程)

6. rdb特殊启动形式

  • 全量复制(在主从复制中用到)
  • 服务器运行过程中重启


debug reload
  • 关闭服务器时指定保存数据


shutdown save

7. RDB优缺点

RDB优点

  • RDB是一个紧凑压缩的二进制文件,存储效率较高
  • RDB内部存储的是redis在某个时间点的数据快照,非常适合用于数据备份,全量复制等场景
  • RDB恢复数据的速度要比AOF快很多
  • 应用:服务器中每X小时执行bgsave备份,并将RDB文件拷贝到远程机器中,用于灾难恢复

RDB缺点

  • save频率低容易丢数据,save频率高会影响请求处理速度
  • bgsave指令每次运行要执行fork操作创建子进程,要牺牲掉一些性能
  • Redis的众多版本中未进行RDB文件格式的版本不统一,有可能出现这个版本的redis生成的rbd文件,用其他版本的redis打不开

RDB存储的弊端

  • 存储数据量较大,效率较低——基于快照思想,每次读写都是全部数据,当数据量巨大时,效率非常低
  • 大数据量下的IO性能较低
  • 基于fork创建子进程,内存产生额外消耗
  • 宕机会带来数据丢失



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
19天前
|
存储 NoSQL Redis
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
Redis 是一个内存数据库,意味着它主要将数据存储在内存中,从而能够提供极高的性能。然而,作为内存数据库,Redis 默认情况下的数据不会永久保存。为了确保数据在重启或故障后能够恢复,Redis 提供了几种 **持久化机制**。这些机制允许 Redis 将内存中的数据保存到硬盘上,从而实现数据持久化。
94 22
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
|
1月前
|
NoSQL 安全 Redis
redis持久化策略
Redis 提供了两种主要的持久化策略:RDB(Redis DataBase)和AOF(Append Only File)。RDB通过定期快照将内存数据保存为二进制文件,适用于快速备份与恢复,但可能因定期保存导致数据丢失。AOF则通过记录所有写操作来确保数据安全性,适合频繁写入场景,但文件较大且恢复速度较慢。两者结合使用可增强数据持久性和恢复能力,同时Redis还支持复制功能提升数据可用性和容错性。
56 5
|
2月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
46 5
|
2月前
|
监控 NoSQL 测试技术
【赵渝强老师】Redis的AOF数据持久化
Redis 是内存数据库,提供数据持久化功能,支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作,支持定期重写以压缩文件。默认情况下,AOF 功能关闭,需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小,避免性能下降。
|
2月前
|
存储 监控 NoSQL
【赵渝强老师】Redis的RDB数据持久化
Redis 是内存数据库,提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式,其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘,确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景,但也有数据完整性和一致性较低及备份时占用内存的缺点。
|
3月前
|
存储 缓存 NoSQL
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
60 2
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
|
4月前
|
存储 缓存 NoSQL
Redis中的rdb和aof
本文深入探讨了Redis的持久化机制,包括RDB和AOF两种方式。详细解释了RDB的工作原理、优势和劣势,以及AOF的实现原理、配置选项、文件重写机制和三种数据同步方式,还介绍了AOF文件修复工具redis-check-aof的使用,并通过实例展示了如何开启和配置AOF持久化方式。
Redis中的rdb和aof
|
3月前
|
消息中间件 分布式计算 NoSQL
大数据-41 Redis 类型集合(2) bitmap位操作 geohash空间计算 stream持久化消息队列 Z阶曲线 Base32编码
大数据-41 Redis 类型集合(2) bitmap位操作 geohash空间计算 stream持久化消息队列 Z阶曲线 Base32编码
35 2
|
3月前
|
存储 缓存 NoSQL
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
81 1
|
4月前
|
存储 NoSQL Redis
SpringCloud基础7——Redis分布式缓存,RDB,AOF持久化+主从+哨兵+分片集群
Redis持久化、RDB和AOF方案、Redis主从集群、哨兵、分片集群、散列插槽、自动手动故障转移
SpringCloud基础7——Redis分布式缓存,RDB,AOF持久化+主从+哨兵+分片集群