Redis - 持久化-AOF

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis - 持久化-AOF

【1】AOF简介

以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作不记录)。只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据。


换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

AOF保存的是appendonly.aof文件。

与RDB做对比,AOF文件更大,但是安全更高。


【2】APPEND ONLY MODE

配置文件如下:



将其开启:


测试appendonly.aof数据备份与恢复

① 删除掉/usr/local/bin目录下的rdb文件与aof文件后重启redis



② 进行四个写操作,然后查看aof文件与rdb文件


③ 查看aof文件信息如下:


就是刚才的写操作指令。


④ 删除掉rdb文件,并重启redis(发现有rdb文件,再次删掉)。使用客户端检测keys,表明数据成功恢复。


测试rdb文件与aof文件共存,首先加载aof文件

① vim修改aof文件(生成环境不允许)



② 客户端shutdown生成rdb文件

此时,rdb文件是健康的,aof文件是错误的。


③ 重启,使用客户端链接


链接报错,说明首先找的是aof文件。


AOF文件修复

redis-check-aof --fix appendonly.aof


同理,rdb文件修复同上:

redis-check-rdb  --fix dump.rdb

总结,AOF备份、修复与恢复如下:


【3】AOF配置

appendfsync


其有如下属性值:

always:同步持久化 每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好。

everysec:出厂默认推荐,异步操作,每秒记录 如果一秒内宕机,有数据丢失。

no:可以忽略这个属性值了。


20171031171742286.png



no-appendfsync-on-rewrite

重写时是否可以运用Appendfsync,用默认no即可,保证数据安全性。

auto-aof-rewrite-min-size

设置重写的基准值(大小)。


auto-aof-rewrite-percentage

设置重写的基准值(百分比)。

【4】AOF重写

① 是什么?


AOF采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制。当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集。

可以使用命令:

bgrewriteaof


② 重写原理


AOF文件持续增长而过大时,会fork出一条新进程来将文件重写(也是先写临时文件最后再rename),遍历新进程的内存中数据,每条记录有一条的Set语句。


重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似。


③ 触发机制


Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发。

真实生产环境中,不可能为64M这么小的,一般为3G起步。


【5】AOF优劣

[1]优势

① 每修改同步:appendfsync always 同步持久化 每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好。


② 每秒同步:appendfsync everysec 异步操作,每秒记录 如果一秒内宕机,有数据丢失。


③ 不同步:appendfsync no 从不同步。


[2]劣势


① 相同数据集的数据而言aof文件要远大于rdb文件,恢复速度慢于rdb。


② aof运行效率要慢于rdb,每秒同步策略效率较好,不同步效率和rdb相同。


【6】RDB和AOF该如何选择


RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储。


AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些

命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾。


Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大。


① 只做缓存:如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式.


② 同时开启两种方式


在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据。因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。


RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件。


那要不要只使用AOF呢?


建议不要,因为RDB更适合用于备份数据库(AOF在不断变化不好备份),快速重启,而且不会有AOF可能潜在的bug,留着作为一个万一的手段。


③ 性能建议


因为RDB文件只用作后备用途,建议只在Slave上持久化RDB文件,而且只要15分钟备份一次就够了,只保留save 900 1这条规则。


如果Enalbe AOF,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只load自己的AOF文件就可以了。


代价一是带来了持续的IO,二是AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。


只要硬盘许可,应该尽量减少AOF rewrite的频率,AOF重写的基础大小默认值64M太小了,可以设到5G以上。默认超过原大小100%大小时重写可以改到适当的数值。


如果不Enable AOF ,仅靠Master-Slave Replication 实现高可用性也可以。能省掉一大笔IO也减少了rewrite时带来的系统波动。


代价是如果Master/Slave同时倒掉,会丢失十几分钟的数据,启动脚本也要比较两个Master/Slave中的RDB文件,载入较新的那个(新浪微博就选用了这种架构)。

目录
相关文章
|
2月前
|
NoSQL 安全 关系型数据库
Redis:持久化的两种方式
Redis持久化机制主要包括RDB和AOF两种方式。RDB通过生成数据快照进行持久化,支持手动或自动触发,具有加载速度快、文件紧凑等特点,但无法实时保存数据。AOF则记录每个操作命令,保障数据更安全,支持多种写入策略,并可通过重写机制优化文件大小。两者各有优劣,常结合使用以兼顾性能与数据安全。
|
2月前
|
存储 缓存 NoSQL
Redis持久化深度解析:数据安全与性能的平衡艺术
Redis持久化解决内存数据易失问题,提供RDB快照与AOF日志两种机制。RDB恢复快、性能高,但可能丢数据;AOF安全性高,最多丢1秒数据,支持多种写回策略,适合不同场景。Redis 4.0+支持混合持久化,兼顾速度与安全。根据业务需求选择合适方案,实现数据可靠与性能平衡。(238字)
|
5月前
|
存储 监控 NoSQL
流量洪峰应对术:Redis持久化策略与内存压测避坑指南
本文深入解析Redis持久化策略与内存优化技巧,涵盖RDB快照机制、AOF重写原理及混合持久化实践。通过实测数据揭示bgsave内存翻倍风险、Hash结构内存节省方案,并提供高并发场景下的主从复制冲突解决策略。结合压测工具链构建与故障恢复演练,总结出生产环境最佳实践清单。
183 9
|
9月前
|
存储 NoSQL 安全
Redis的两种持久化方式---RDB、AOF
通过本文的介绍,我们详细讲解了Redis的两种主要持久化方式:RDB和AOF。每种方式都有其独特的优缺点和适用场景。在实际应用中,可以根据具体需求选择合适的持久化方式,或者同时启用RDB和AOF,以达到最佳效果。希望本文能帮助您更好地理解和应用Redis的持久化机制,构建高效、可靠的数据存储解决方案。
901 79
|
8月前
|
NoSQL Redis
Redis的数据持久化策略有哪些 ?
Redis 提供了两种方式,实现数据的持久化到硬盘。 1. RDB 持久化(全量),是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 2. AOF持久化(增量),以日志的形式记录服务器所处理的每一个写、删除操作 RDB和AOF一起使用, 在Redis4.0版本支持混合持久化方式 ( 设置 aof-use-rdb-preamble yes )
|
11月前
|
存储 NoSQL Redis
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
Redis 是一个内存数据库,意味着它主要将数据存储在内存中,从而能够提供极高的性能。然而,作为内存数据库,Redis 默认情况下的数据不会永久保存。为了确保数据在重启或故障后能够恢复,Redis 提供了几种 **持久化机制**。这些机制允许 Redis 将内存中的数据保存到硬盘上,从而实现数据持久化。
646 22
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
|
11月前
|
NoSQL 安全 Redis
redis持久化策略
Redis 提供了两种主要的持久化策略:RDB(Redis DataBase)和AOF(Append Only File)。RDB通过定期快照将内存数据保存为二进制文件,适用于快速备份与恢复,但可能因定期保存导致数据丢失。AOF则通过记录所有写操作来确保数据安全性,适合频繁写入场景,但文件较大且恢复速度较慢。两者结合使用可增强数据持久性和恢复能力,同时Redis还支持复制功能提升数据可用性和容错性。
216 5
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
246 5
|
存储 缓存 NoSQL
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
201 2
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
|
监控 NoSQL 测试技术
【赵渝强老师】Redis的AOF数据持久化
Redis 是内存数据库,提供数据持久化功能,支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作,支持定期重写以压缩文件。默认情况下,AOF 功能关闭,需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小,避免性能下降。
305 6