Redis 持久化之RDB和AOF

简介:   Redis 有两种持久化方案,RDB (Redis DataBase)和 AOF (Append Only File)。如果你想快速了解和使用RDB和AOF,可以直接跳到文章底部看总结。本章节通过配置文件,触发快照的方式,恢复数据的操作,命令操作演示,优缺点来学习 Redis 的重点知识持久化。  RDB 详解  RDB 是 Redis 默认的持久化方案。在指定的时间间隔内,执行指定次数的写操作,则会将内存中的数据写入到磁盘中。即在指定目录下生成一个dump.rdb文件。Redis 重启会通过加载dump.rdb文件恢复数据。  从配置文件了解RDB

  Redis 有两种持久化方案,RDB (Redis DataBase)和 AOF (Append Only File)。如果你想快速了解和使用RDB和AOF,可以直接跳到文章底部看总结。本章节通过配置文件,触发快照的方式,恢复数据的操作,命令操作演示,优缺点来学习 Redis 的重点知识持久化。

  RDB 详解

  RDB 是 Redis 默认的持久化方案。在指定的时间间隔内,执行指定次数的写操作,则会将内存中的数据写入到磁盘中。即在指定目录下生成一个dump.rdb文件。Redis 重启会通过加载dump.rdb文件恢复数据。

  从配置文件了解RDB

  打开 redis.conf 文件,找到 SNAPSHOTTING 对应内容

  1 RDB核心规则配置(重点)

  save

  # save ""

  save 900 1

  save 300 10

  save 60 10000

  解说:save <指定时间间隔> <执行指定次数更新操作>,满足条件就将内存中的数据同步到硬盘中。官方出厂配置默认是 900秒内有1个更改,300秒内有10个更改以及60秒内有10000个更改,则将内存中的数据快照写入磁盘。

  若不想用RDB方案,可以把 save "" 的注释打开,下面三个注释。

  2 指定本地数据库文件名,一般采用默认的 dump.rdb

  dbfilename dump.rdb

  3 指定本地数据库存放目录,一般也用默认配置

  dir ./

  4 默认开启数据压缩

  rdbcompression yes

  解说:配置存储至本地数据库时是否压缩数据,默认为yes。Redis采用LZF压缩方式,但占用了一点CPU的时间。若关闭该选项,但会导致数据库文件变的巨大。建议开启。

  触发RDB快照

  1 在指定的时间间隔内,执行指定次数的写操作

  2 执行save(阻塞, 只管保存快照,其他的等待) 或者是bgsave (异步)命令

  3 执行flushall 命令,清空数据库所有数据,意义不大。

  4 执行shutdown 命令,保证服务器正常关闭且不丢失任何数据,意义...也不大。

  通过RDB文件恢复数据

  将dump.rdb 文件拷贝到redis的安装目录的bin目录下,重启redis服务即可。在实际开发中,一般会考虑到物理机硬盘损坏情况,选择备份dump.rdb 。可以从下面的操作演示中可以体会到。

  RDB 的优缺点

  优点:

  1 适合大规模的数据恢复。

  2 如果业务对数据完整性和一致性要求不高,RDB是很好的选择。

  缺点:

  1 数据的完整性和一致性不高,因为RDB可能在最后一次备份时宕机了。

  2 备份时占用内存,因为Redis 在备份时会独立创建一个子进程,将数据写入到一个临时文件(此时内存中的数据是原来的两倍哦),最后再将临时文件替换之前的备份文件。

  所以Redis 的持久化和数据的恢复要选择在夜深人静的时候执行是比较合理的。

  操作演示

  [root@itdragon bin]# vim redis.conf

  save 900 1

  save 120 5

  save 60 10000

  [root@itdragon bin]# ./redis-server redis.conf

  [root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379

  127.0.0.1:6379> keys *

  (empty list or set)

  127.0.0.1:6379> set key1 value1

  OK

  127.0.0.1:6379> set key2 value2

  OK

  127.0.0.1:6379> set key3 value3

  OK

  127.0.0.1:6379> set key4 value4

  OK

  127.0.0.1:6379> set key5 value5

  OK

  127.0.0.1:6379> set key6 value6

  OK

  127.0.0.1:6379> SHUTDOWN

  not connected> QUIT

  [root@itdragon bin]# cp dump.rdb dump_bk.rdb

  [root@itdragon bin]# ./redis-server redis.conf

  [root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379

  127.0.0.1:6379> FLUSHALL

  OK

  127.0.0.1:6379> keys *

  (empty list or set)

  127.0.0.1:6379> SHUTDOWN

  not connected> QUIT

  [root@itdragon bin]# cp dump_bk.rdb dump.rdb

  cp: overwrite `dump.rdb'? y

  [root@itdragon bin]# ./redis-server redis.conf

  [root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379

  127.0.0.1:6379> keys *

  1) "key5"

  2) "key1"

  3) "key3"

  4) "key4"

  5) "key6"

  6) "key2"

  第一步:vim 修改持久化配置时间,120秒内修改5次则持久化一次。

  第二步:重启服务使配置生效。

  第三步:分别set 5个key,过两分钟后,在bin的当前目录下会自动生产一个dump.rdb文件。(set key6 是为了验证二手游戏账号买号shutdown有触发RDB快照的作用)

  第四步:将当前的dump.rdb 备份一份(模拟线上工作)。

  第五步:执行FLUSHALL命令清空数据库数据(模拟数据丢失)。

  第六步:重启Redis服务,恢复数据.....咦????( ′? `)。数据是空的????这是因为FLUSHALL也有触发RDB快照的功能。

  第七步:将备份的 dump_bk.rdb 替换 dump.rdb 然后重新Redis。

  注意点:SHUTDOWN 和 FLUSHALL 命令都会触发RDB快照,这是一个坑,请大家注意。

  其他命令:

  keys * 匹配数据库中所有 keysave 阻塞触发RDB快照,使其备份数据FLUSHALL 清空整个 Redis 服务器的数据(几乎不用)SHUTDOWN 关机走人(很少用)AOF 详解

  AOF :Redis 默认不开启。它的出现是为了弥补RDB的不足(数据的不一致性),所以它采用日志的形式来记录每个写操作,并追加到文件中。Redis 重启的会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

  从配置文件了解AOF

  打开 redis.conf 文件,找到 APPEND ONLY MODE 对应内容

  1 redis 默认关闭,开启需要手动把no改为yes

  appendonly yes

  2 指定本地数据库文件名,默认值为 appendonly.aof

  appendfilename "appendonly.aof"

  3 指定更新日志条件

  # appendfsync always

  appendfsync everysec

  # appendfsync no

  解说:

  always:同步持久化,每次发生数据变化会立刻写入到磁盘中。性能较差当数据完整性比较好(慢,安全)

  everysec:出厂默认推荐,每秒异步记录一次(默认值)

  no:不同步

  4 配置重写触发机制

  auto-aof-rewrite-percentage 100

  auto-aof-rewrite-min-size 64mb

  解说:当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发。一般都设置为3G,64M太小了。

  触发AOF快照

  根据配置文件触发,可以是每次执行触发,可以是每秒触发,可以不同步。

  根据AOF文件恢复数据

  正常情况下,将appendonly.aof 文件拷贝到redis的安装目录的bin目录下,重启redis服务即可。但在实际开发中,可能因为某些原因导致appendonly.aof 文件格式异常,从而导致数据还原失败,可以通过命令redis-check-aof --fix appendonly.aof 进行修复 。从下面的操作演示中体会。

  AOF的重写机制

  前面也说到了,AOF的工作原理是将写操作追加到文件中,文件的冗余内容会越来越多。所以聪明的 Redis 新增了重写机制。当AOF文件的大小超过所设定的阈值时,Redis就会对AOF文件的内容压缩。

  重写的原理:Redis 会fork出一条新进程,读取内存中的数据,并重新写到一个临时文件中。并没有读取旧文件(你都那么大了,我还去读你??? o(?Д?)っ傻啊!)。最后替换旧的aof文件。

  触发机制:当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发。这里的“一倍”和“64M” 可以通过配置文件修改。

  AOF 的优缺点

  优点:数据的完整性和一致性更高

  缺点:因为AOF记录的内容多,文件会越来越大,数据恢复也会越来越慢。

  操作演示

  [root@itdragon bin]# vim appendonly.aof

  appendonly yes

  [root@itdragon bin]# ./redis-server redis.conf

  [root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379

  127.0.0.1:6379> keys *

  (empty list or set)

  127.0.0.1:6379> set keyAOf valueAof

  OK

  127.0.0.1:6379> FLUSHALL

  OK

  127.0.0.1:6379> SHUTDOWN

  not connected> QUIT

  [root@itdragon bin]# ./redis-server redis.conf

  [root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379

  127.0.0.1:6379> keys *

  1) "keyAOf"

  127.0.0.1:6379> SHUTDOWN

  not connected> QUIT

  [root@itdragon bin]# vim appendonly.aof

  fjewofjwojfoewifjowejfwf

  [root@itdragon bin]# ./redis-server redis.conf

  [root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379

  Could not connect to Redis at 127.0.0.1:6379: Connection refused

  not connected> QUIT

  [root@itdragon bin]# redis-check-aof --fix appendonly.aof

  'x 3e: Expected prefix '*', got: '

  AOF analyzed: size=92, ok_up_to=62, diff=30

  This will shrink the AOF from 92 bytes, with 30 bytes, to 62 bytes

  Continue? [y/N]: y

  Successfully truncated AOF

  [root@itdragon bin]# ./redis-server redis.conf

  [root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379

  127.0.0.1:6379> keys *

  1) "keyAOf"

  第一步:修改配置文件,开启AOF持久化配置。

  第二步:重启Redis服务,并进入Redis 自带的客户端中。

  第三步:保存值,然后模拟数据丢失,关闭Redis服务。

  第四步:重启服务,发现数据恢复了。(额外提一点:有教程显示FLUSHALL 命令会被写入AOF文件中,导致数据恢复失败。我安装的是redis-4.0.2没有遇到这个问题)。

  第五步:修改appendonly.aof,模拟文件异常情况。

  第六步:重启 Redis 服务失败。这同时也说明了,RDB和AOF可以同时存在,且优先加载AOF文件。

  第七步:校验appendonly.aof 文件。重启Redis 服务后正常。

  补充点:aof 的校验是通过 redis-check-aof 文件,那么rdb 的校验是不是可以通过 redis-check-rdb 文件呢???

  总结Redis 默认开启RDB持久化方式,在指定的时间间隔内,执行指定次数的写操作,则将内存中的数据写入到磁盘中。RDB 持久化适合大规模的数据恢复但它的数据一致性和完整性较差。Redis 需要手动开启AOF持久化方式,默认是每秒将写操作日志追加到AOF文件中。AOF 的数据完整性比RDB高,但记录内容多了,会影响数据恢复的效率。Redis 针对 AOF文件大的问题,提供重写的瘦身机制。若只打算用Redis 做缓存,可以关闭持久化。若打算使用Redis 的持久化。建议RDB和AOF都开启。其实RDB更适合做数据的备份,留一后手。AOF出问题了,还有RDB。

  到这里Redis 的持久化就介绍完了,有什么不对的地方可以指出。

目录
相关文章
|
6月前
|
NoSQL 安全 关系型数据库
Redis:持久化的两种方式
Redis持久化机制主要包括RDB和AOF两种方式。RDB通过生成数据快照进行持久化,支持手动或自动触发,具有加载速度快、文件紧凑等特点,但无法实时保存数据。AOF则记录每个操作命令,保障数据更安全,支持多种写入策略,并可通过重写机制优化文件大小。两者各有优劣,常结合使用以兼顾性能与数据安全。
|
6月前
|
存储 缓存 NoSQL
Redis持久化深度解析:数据安全与性能的平衡艺术
Redis持久化解决内存数据易失问题,提供RDB快照与AOF日志两种机制。RDB恢复快、性能高,但可能丢数据;AOF安全性高,最多丢1秒数据,支持多种写回策略,适合不同场景。Redis 4.0+支持混合持久化,兼顾速度与安全。根据业务需求选择合适方案,实现数据可靠与性能平衡。(238字)
|
9月前
|
存储 监控 NoSQL
流量洪峰应对术:Redis持久化策略与内存压测避坑指南
本文深入解析Redis持久化策略与内存优化技巧,涵盖RDB快照机制、AOF重写原理及混合持久化实践。通过实测数据揭示bgsave内存翻倍风险、Hash结构内存节省方案,并提供高并发场景下的主从复制冲突解决策略。结合压测工具链构建与故障恢复演练,总结出生产环境最佳实践清单。
343 9
|
存储 NoSQL 安全
Redis的两种持久化方式---RDB、AOF
通过本文的介绍,我们详细讲解了Redis的两种主要持久化方式:RDB和AOF。每种方式都有其独特的优缺点和适用场景。在实际应用中,可以根据具体需求选择合适的持久化方式,或者同时启用RDB和AOF,以达到最佳效果。希望本文能帮助您更好地理解和应用Redis的持久化机制,构建高效、可靠的数据存储解决方案。
1178 79
|
12月前
|
NoSQL Redis
Redis的数据持久化策略有哪些 ?
Redis 提供了两种方式,实现数据的持久化到硬盘。 1. RDB 持久化(全量),是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 2. AOF持久化(增量),以日志的形式记录服务器所处理的每一个写、删除操作 RDB和AOF一起使用, 在Redis4.0版本支持混合持久化方式 ( 设置 aof-use-rdb-preamble yes )
|
存储 NoSQL Redis
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
Redis 是一个内存数据库,意味着它主要将数据存储在内存中,从而能够提供极高的性能。然而,作为内存数据库,Redis 默认情况下的数据不会永久保存。为了确保数据在重启或故障后能够恢复,Redis 提供了几种 **持久化机制**。这些机制允许 Redis 将内存中的数据保存到硬盘上,从而实现数据持久化。
834 22
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
|
NoSQL 关系型数据库 MySQL
Redis持久化机制 RDB 和 AOF 的选择
Redis持久化机制 RDB 和 AOF 的选择
326 0
|
NoSQL Redis 数据库
Redis持久化之RDB和AOF操作
【1月更文挑战第9天】 无论是面试还是工作,持久化都是重点! Redis是内存数据库,如果不将内存中的数据库状态保存到磁盘,那么一旦服务器进程退出,服务器中的数据库状态也会消失。所以Redis提供了持久化功能!——RDB(Redis DataBase)和AOF(Append Only File)
286 55
Redis持久化之RDB和AOF操作
|
存储 缓存 NoSQL
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
251 2
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
|
存储 缓存 NoSQL
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
366 1