【Redis高手修炼之路】Redis的持久化——ROB和AOF持久化机制

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 【Redis高手修炼之路】Redis的持久化——ROB和AOF持久化机制

1.Redis的持久化


问:把客户端和服务端都关闭了,再重新开启服务器和客户端,数据会不会丢失?


答:数据会部分或全部丢失


1.1Redis持久化概述


什么是Redis的持久化:


因为Redis中的数据都是写在内存中的,如果将内存中的数据写到硬盘的文件上,称为持久化。


Redis持久化的两种方式:


RDB格式:Redis DataBase,每过一段时间将内存中的数据写到硬盘上


AOF格式:Append Only File,以日志的方式记录服务器上的每个操作,当服务器重启的时候,将


日志中操作还原到内存中。


2.RDB持久化机制


2.1RDB持久化机制优点


1.方便备份与恢复


整个Redis数据库将只包含一个文件,默认是dump.rdb,这对于文件备份和恢复而言是非常完美


的。因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上。一旦系统出现灾


难性故障,我们可以非常容易的进行恢复。


2.性能最大化


对于Redis的服务进程而言,在开始持久化时,它唯一需要做的只是分叉出子进程,由子进程完成这些持久化的工作,这样就可以极大的避免服务进程执行IO操作了。


3.启动效率更高


相比于AOF机制,如果数据集很大,RDB的启动效率会更高


2.2RDB持久化机制缺点


1.不能完全避免数据丢失


因为RDB是每隔一段时间写入数据,所以系统一旦在定时持久化之前出现宕机现象,此前没有来得及写入磁盘的数据都将丢失。


2.会导致服务器暂停的现象


由于RDB是通过子进程来协助完成数据持久化工作的,因此当数据集较大时,可能会导致整个服务器停止服务几百毫秒,甚至是1秒钟。一般在夜深人静的时候持久化会比较好。


2.3RDB持计划机制的配置


在redis.windows.conf配置文件中的SNAPSHOTTING快照中有如下说明:

image.png

如下面配置的是RDB方式数据持久化时机,必须两个条件都要满足

image.png

2.4演示:RDB持久化


操作步骤


修改redis.windows.conf 文件的101行


添加1行:save 20 3 (表示20秒内修改3个键,则写入到dump.rdb文件中)


使用指定的配置文件启动服务器:redis-server redis.windows.conf


向数据库中添加2个键,直接关闭服务器窗口。再开启服务器,查看所有的keys,刚才添加的数据


丢失。

微信图片_20220531131206.png

在客户端添加3个键,发现服务器端有如下输出信息,表示写入到数据库dump.rdb文件中

微信图片_20220531131255.png

直接关闭服务器窗口,再开启服务器,查看所有的keys,数据没有丢失。

微信图片_20220531131335.png

3.AOF持久化机制


3.1AOF持久化机制优点


AOF包含一个格式清晰、易于理解的日志文件用于记录所有的修改操作。也可以通过该文件完成数据image.png

3.2AOF持久化机制缺点


文件比RDB更大:对于相同数量的数据集而言,AOF文件通常要大于RDB文件。

运行效率比RDB更慢:根据同步策略的不同,AOF在运行效率上往往会慢于RDB。


3.3AOF持久化机制配置


开启AOF持久化


AOF默认是关闭的,首先需要开启AOF模式。

image.png

AOF持久化时机image.png3.4演示:AOF的持久化


操作步骤:


打开AOF的配置,找到APPEND ONLY MODE配置块,392行。设置appendonly yes


通过redis-server redis.windows.conf 启动服务器,在服务器目录下出现appendonly.aof文件。大小是0个字节。


添加3个键和值

微信图片_20220531131750.png

打开appendonly.aof文件,查看文件的变化。会发现文件记录了所有操作的过程。


4.AOF重写机制介绍


4.1为什么需要AOF重写


AOF 持久化是通过保存被执行的写命令来记录数据库状态的,所以AOF文件的大小随着时间的流


逝一定会越来越大;对于Redis服务器,计算机的存储压力;AOF还原出数据库状态的时间都会增


加;


为了解决AOF文件体积膨胀的问题,Redis提供了AOF重写功能:Redis服务器可以创建一个新的


AOF文件来替代现有的AOF文件,新旧两个文件所保存的数据库状态是相同的,但是新的AOF文


件不会包含任何浪费空间的冗余命令,通常体积会较旧AOF文件小很多。


4.2AOF文件重写的实现原理


AOF重写并不需要对原有AOF文件进行任何的读取,写入,分析等操作,这个功能是通过读取服务


器当前的数据库状态来实现的。

# 假设服务器对键list执行了以下命令
127.0.0.1:6379> RPUSH list "A" "B"
(integer) 2
127.0.0.1:6379> RPUSH list "C"
(integer) 3
127.0.0.1:6379> RPUSH list "D" "E"
(integer) 5
127.0.0.1:6379> LPOP list
"A"
127.0.0.1:6379> LPOP list
"B"
127.0.0.1:6379> RPUSH list "F" "G"
(integer) 5
127.0.0.1:6379> LRANGE list 0 -1
1) "C"
2) "D"
3) "E"
4) "F"
5) "G"
127.0.0.1:6379> 

当前列表键list在数据库中的值就为["C", "D", "E", "F", "G"]。要使用尽量少的命令来记录list键的状


态,最简单的方式不是去读取和分析现有AOF文件的内容,,而是直接读取list键在数据库中的当


前值,然后用一条RPUSH list "C" "D" "E" "F" "G"代替前面的6条命令。


原理:从数据库中读取键现在的值,然后用一条命令去记录键值对,代替之前记录该键值对的多个命令。


4.3AOF重写触发的方式


4.3.1AOF重写概述


aof_rewrite函数可以创建新的AOF文件,但是这个函数会进行大量的写入操作,所以调用这个函数


的线程将被长时间的阻塞,所以Redis将AOF重写程序放到子进程(后台)里执行的。


4.3.2AOF触发方式


手动触发:用户通过调用bgrewriteaof手动触发


自动触发:每次当服务器周期性操作函数执行时,它会检查以下条件是否满足,如果全部满足的话,就触发自动的AOF重写操作:


没有RDB持久化/AOF持久化在执行,没有bgrewriteaof在进行;


当前AOF文件大小要大于redis.conf配置的auto-aof-rewrite-min-size大小;


当前AOF文件大小和最后一次重写后的大小之间的比率等于或者等于指定的增长百分比(在配置文件设置了auto-aof-rewrite-percentage参数,不设置默认为100%)


auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb


4.4演示:AOF手动重写

关闭服务器,删除生成的aof和rdb文件


执行以下命令

微信图片_20220531132338.png

微信图片_20220531132303.png

微信图片_20220531132303.png

输入命令:bgrewriteaof,则aof被重写

微信图片_20220531132441.png

生成旧的文件微信图片_20220531132448.png

服务器上出现提示微信图片_20220531132453.png

4.5演示:AOF后台自动重写


关闭服务器,删除生成的aof和rdb文件

修改配置文件如下:

# 大于原来的50%就自动重写
auto-aof-rewrite-percentage 50
# 自动重写的最小尺寸
auto-aof-rewrite-min-size 100b

带配置文件启动服务器

进行如下操作

微信图片_20220531132655.png

生成的重写文件微信图片_20220531132736.png

服务器端的输出微信图片_20220531132741.png

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
1月前
|
存储 NoSQL 安全
Redis的两种持久化方式---RDB、AOF
通过本文的介绍,我们详细讲解了Redis的两种主要持久化方式:RDB和AOF。每种方式都有其独特的优缺点和适用场景。在实际应用中,可以根据具体需求选择合适的持久化方式,或者同时启用RDB和AOF,以达到最佳效果。希望本文能帮助您更好地理解和应用Redis的持久化机制,构建高效、可靠的数据存储解决方案。
138 79
|
2月前
|
NoSQL API Redis
在C程序中实现类似Redis的SCAN机制的LevelDB大规模key分批扫描
通过上述步骤,可以在C程序中实现类似Redis的SCAN机制的LevelDB大规模key分批扫描。利用LevelDB的迭代器,可以高效地遍历和处理数据库中的大量键值对。该实现方法不仅简单易懂,还具有良好的性能和扩展性,希望能为您的开发工作提供实用的指导和帮助。
50 7
|
3月前
|
存储 NoSQL Redis
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
Redis 是一个内存数据库,意味着它主要将数据存储在内存中,从而能够提供极高的性能。然而,作为内存数据库,Redis 默认情况下的数据不会永久保存。为了确保数据在重启或故障后能够恢复,Redis 提供了几种 **持久化机制**。这些机制允许 Redis 将内存中的数据保存到硬盘上,从而实现数据持久化。
188 22
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
|
3月前
|
NoSQL 安全 Redis
redis持久化策略
Redis 提供了两种主要的持久化策略:RDB(Redis DataBase)和AOF(Append Only File)。RDB通过定期快照将内存数据保存为二进制文件,适用于快速备份与恢复,但可能因定期保存导致数据丢失。AOF则通过记录所有写操作来确保数据安全性,适合频繁写入场景,但文件较大且恢复速度较慢。两者结合使用可增强数据持久性和恢复能力,同时Redis还支持复制功能提升数据可用性和容错性。
84 5
|
4月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
80 5
|
3天前
|
缓存 NoSQL Java
Redis应用—8.相关的缓存框架
本文介绍了Ehcache和Guava Cache两个缓存框架及其使用方法,以及如何自定义缓存。主要内容包括:Ehcache缓存框架、Guava Cache缓存框架、自定义缓存。总结:Ehcache适合用作本地缓存或与Redis结合使用,Guava Cache则提供了更灵活的缓存管理和更高的并发性能。自定义缓存可以根据具体需求选择不同的数据结构和引用类型来实现特定的缓存策略。
Redis应用—8.相关的缓存框架
|
1月前
|
缓存 NoSQL 中间件
Redis,分布式缓存演化之路
本文介绍了基于Redis的分布式缓存演化,探讨了分布式锁和缓存一致性问题及其解决方案。首先分析了本地缓存和分布式缓存的区别与优劣,接着深入讲解了分布式远程缓存带来的并发、缓存失效(穿透、雪崩、击穿)等问题及应对策略。文章还详细描述了如何使用Redis实现分布式锁,确保高并发场景下的数据一致性和系统稳定性。最后,通过双写模式和失效模式讨论了缓存一致性问题,并提出了多种解决方案,如引入Canal中间件等。希望这些内容能为读者在设计分布式缓存系统时提供有价值的参考。感谢您的阅读!
130 6
Redis,分布式缓存演化之路
|
2月前
|
存储 缓存 NoSQL
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
|
2月前
|
缓存 NoSQL 关系型数据库
云端问道21期实操教学-应对高并发,利用云数据库 Tair(兼容 Redis®)缓存实现极速响应
本文介绍了如何通过云端问道21期实操教学,利用云数据库 Tair(兼容 Redis®)缓存实现高并发场景下的极速响应。主要内容分为四部分:方案概览、部署准备、一键部署和完成及清理。方案概览中,展示了如何使用 Redis 提升业务性能,降低响应时间;部署准备介绍了账号注册与充值步骤;一键部署详细讲解了创建 ECS、RDS 和 Redis 实例的过程;最后,通过对比测试验证了 Redis 缓存的有效性,并指导用户清理资源以避免额外费用。
|
3月前
|
缓存 监控 NoSQL
Redis经典问题:缓存穿透
本文详细探讨了分布式系统和缓存应用中的经典问题——缓存穿透。缓存穿透是指用户请求的数据在缓存和数据库中都不存在,导致大量请求直接落到数据库上,可能引发数据库崩溃或性能下降。文章介绍了几种有效的解决方案,包括接口层增加校验、缓存空值、使用布隆过滤器、优化数据库查询以及加强监控报警机制。通过这些方法,可以有效缓解缓存穿透对系统的影响,提升系统的稳定性和性能。