一文带你了解Redis持久化完整版本(2)

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 一文带你了解Redis持久化完整版本

3. AOF

3-1 AOF概念

AOF持久化:以独立日志的方式记录每次写命令,重启时在重新执行AOF文件中命令达到数据恢复的目的。与RDB相比可以简单描述为记录数据产生的过程


AOF的主要作用是解决了数据持久化的实时性,目前已经是redis持久化的主流方式


3-2 AOF写数据过程


image.png

执行一条redis命令


redis的AOF会把命令刷新缓冲区


然后根据一定的策略同步的到redis.conf配置的.aof文件中


3-3 AOF写数据的三种策略


  • always:每次写入操作均同步到AOF文件中,数据零误差,性能较低,不建议使用
  • everysec:每秒将缓冲区中的指令同步到AOF文件中,数据准确性较高,性能较高,建议使用,也是默认配置。但是在系统突然宕机的情况下回丢失1秒内的数据
  • no:由操作系统控制每次同步到AOF文件的周期,整体过程不可控


3-4 AOF功能开启

  • 配置:appendonly yes|no
  • 作用:是否开启AOF持久化功能,默认为不开启状态
  • 配置:appendfsync always| everysec | no
  • 作用:AOF写数据策略
  • 配置:appenfilename filename
  • 作用:AOF持久化文件名,默认名为appendonly.aof


image.png

然后使用重启redis服务,就可以在usr/local/redis/data目录下可以看到appendonly.aof文件了

image.png

然后我们在redis客户端执行一条命令,在来查看一下。可以看到数据都会存入appendonly.aof这个文件中。

image.png


3-5 AOF写数据出现的问题

我们先看一个案例,我们重复设置了name这个key后,打开appendonly.aof文件查看,可以看到有三个操作,但是这三个操作我们都是修改的一个key啊!我们只保存最后一个key不行吗?带着这个疑问,我们在继续往下看


image.png


3-6 AOF重写

随着命令不断写入AOF,文件会越来越大,为了解决这个问题,redis引入了AOF重写机制压缩文件体积。AOF文件重写是将redis进程内的数据转化为写命令同步到新AOF文件的过程。简单说就是将对同一个数据的若干条命令执行结果转化为最终结果数据对应指令的执行记录。


如在上边我们执行了三次 set name 指令,但是我们最终就只需要最后一次执行的数据。也就是我们只需要最后一次执行记录即可。


3-7 AOF重写作用


  • 降低磁盘占用量,提高磁盘利用率
  • 提高持久化效率,降低持久化写时间,提高IO性能
  • 降低数据恢复用时,提高数据恢复效率


3-8 AOF重写规则


  • 进程内已超时的数据不再写入文件
  • 忽略无效指令,重写时使用进程内数据直接生成,这样新的AOF文件值保留最终数据的写入命令。如del指令,hdel,srem。 多次设置一个key值等
  • 对同一数据的多条写入命令合并为一条命令:如lpush list a lpush lsit b lpush list c可以转化为lpush list a b c。但是为了防止数据量过大造成客户端缓冲区溢出,对list,set,hash,zset类型每条指令最多写入64个元素


3-9 AOF手动重写

指令:bgrewriteaof


接着我们3-5的问题,我们在命令行执行bgrewriteaof指令然后查看appendonly.aof文件


当执行完后会发现文件变小了,文件里也就只有一条指令了


image.png


3-10 AOF手动重写工作原理

image.png


3-11 AOF自动重写

配置:auto-aof-rewrite-percentage 100 | auto-aof-rewrite-min-size 64mb

触发对比参数:aof_current_size | aof_base_size


当aof_current_size > auto-aof-rewrite-min-size 64mb 会启动重写


此图来源于网络

image.png


3-11 AOF工作流程和重写流=流程


image.png


4. RDB和AOF区别


对数据非常敏感,建议使用默认的AOF持久化方案


  • AOF持久化策略使用everysecond, 每 秒 钟fsync-次•该策略redis仍可以保持很好的处理性能,当出现问题时, 最 多丢失0-1秒内的数据.
  • 注意:由于AO文件存储体积较大,且恢复速度较慢


数据呈现阶段有效性,建议使用RDB持久化方案


  • 数据可以良好的做到阶段内无丟失(该阶段是开发者成运维人手工维护的),且恢复速度较快,阶段点数据恢复通常采用RDB方案
  • 注 意 : 利 用RDB实现紧促的数据持久化会使Redis降的很低


综合对比


  • RDB与AOF的选择实际上是在做一种权衡,每种都有利有弊
  • 如不能承受数分钟以内的数据丢失,对业努数据非常敏感,选用A0F
  • 如能承受数分钟以内的数据丟失,旦追求大数据集的恢复速度,选用RDB
  • 灾难恢复使用RDB
  • 双保险策略,同时幵启RDB和AOF, 重启后,Redis优先使用A0F来恢复数据,降低丢失数据的量
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
26天前
|
存储 NoSQL Redis
Redis 新版本引入多线程的利弊分析
【10月更文挑战第16天】Redis 新版本引入多线程是一个具有挑战性和机遇的改变。虽然多线程带来了一些潜在的问题和挑战,但也为 Redis 提供了进一步提升性能和扩展能力的可能性。在实际应用中,我们需要根据具体的需求和场景,综合评估多线程的利弊,谨慎地选择和使用 Redis 的新版本。同时,Redis 开发者也需要不断努力,优化和完善多线程机制,以提供更加稳定、高效和可靠的 Redis 服务。
30 1
|
7天前
|
监控 NoSQL 测试技术
【赵渝强老师】Redis的AOF数据持久化
Redis 是内存数据库,提供数据持久化功能,支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作,支持定期重写以压缩文件。默认情况下,AOF 功能关闭,需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小,避免性能下降。
|
7天前
|
存储 监控 NoSQL
【赵渝强老师】Redis的RDB数据持久化
Redis 是内存数据库,提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式,其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘,确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景,但也有数据完整性和一致性较低及备份时占用内存的缺点。
|
1月前
|
存储 缓存 NoSQL
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
37 2
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
|
1月前
|
消息中间件 分布式计算 NoSQL
大数据-41 Redis 类型集合(2) bitmap位操作 geohash空间计算 stream持久化消息队列 Z阶曲线 Base32编码
大数据-41 Redis 类型集合(2) bitmap位操作 geohash空间计算 stream持久化消息队列 Z阶曲线 Base32编码
27 2
|
1月前
|
存储 缓存 NoSQL
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
56 1
|
2月前
|
存储 NoSQL Redis
SpringCloud基础7——Redis分布式缓存,RDB,AOF持久化+主从+哨兵+分片集群
Redis持久化、RDB和AOF方案、Redis主从集群、哨兵、分片集群、散列插槽、自动手动故障转移
SpringCloud基础7——Redis分布式缓存,RDB,AOF持久化+主从+哨兵+分片集群
|
2月前
|
NoSQL 网络协议 Unix
1)Redis 属于单线程还是多线程?不同版本之间有什么区别?
1)Redis 属于单线程还是多线程?不同版本之间有什么区别?
64 1
|
2月前
|
存储 缓存 NoSQL
Redis 大 Key 对持久化的影响及解决方案
Redis 大 Key 对持久化的影响及解决方案
45 1
|
2月前
|
存储 NoSQL 安全
8)详解 Redis 的配置文件以及数据持久化
8)详解 Redis 的配置文件以及数据持久化
38 0