真枪实弹:Redis冷备如何做

简介: 真枪实弹:Redis冷备如何做

大家好,我是悟空呀。

Redis 的 RDB 持久化方案,相信大家都有所了解,但是对于企业来说,如果只是持久化了一个 RDB 文件,不足以应付生产级别的事故。通常的方案就是对 RDB 进行多个备份,今天带大家来真枪实弹操作下 RDB 的冷备,以及通过 RDB 进行数据恢复。

企业级冷备方案

Redis RDB 持久化是非常适合做企业级的冷备方案的,这里的冷备可以理解为将已生成的文件拷贝到其他机器或者云服务器上。

RDB 适合做冷备的原因如下:

  • RDB 文件生成后,改变的频率低,除非频繁触发检查点导致重新生成。
  • RDB 是 Redis 内存快照,比 AOF 日志恢复速度快。
  • RDB 的生成策略可以自行配置,而且可以配置多项,可以根据系统的使用场景和实际情况进行设置。

备份方案

1.用 Linux 自带的 crontab 命令执行定时任务,调用数据备份脚本。

2.每小时备份一份一次当前最新的 RDB 快照文件到指定目录,只保留最近 48 小时的备份。

3.每天备份一份当前最新的 RDB 快照文件到指定目录,只保留最近一个月的 备份。

4.每天晚上将备份文件都发送远程的云服务器上。

流程图如下所示:

每小时备份

首先需要编写一个脚本,专门用来做数据备份,创建脚本的命令如下:

mkdir /usr/local/redis
mkdir /usr/local/redis/copy
vi /usr/local/redis/copy/redis_rdb_copy_hourly.sh
mkdir /usr/local/redis/snapshotting
chmod 777 /usr/local/redis

然后编写这个脚本文件:

#!/bin/sh 

cur_date=`date +%Y%m%d%H`
rm -rf /usr/local/redis/snapshotting/$cur_date
mkdir /usr/local/redis/snapshotting/$cur_date
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date

del_date=`date -d -48hour +%Y%m%d`
rm -rf /usr/local/redis/snapshotting/$del_date

脚本解释:

  • cur_data 代表当前时间,精确到小时,比如 2021080616。
  • 删除当前小时的快照文件。
  • 创建当前小时的备份文件,文件为空的。
  • 拷贝当前的快照文件到上一步创建的空的备份文件中。
  • del_date 代表 48 小时以前的时间,精确到小时,比如 2021080416。
  • 删除 48 小时以前的备份文件。

设置定时任务,每个小时的 0 分跑一次脚本:

crontab -e
0 * * * * sh /usr/local.redis/copy/redis_rdb_copy_hourly.sh

因为要等到下一个小时的 0 点,所以就手动运行脚本来测试:

cd /usr/local/redis/copy
./redis_rdb_copy_hourly.sh 

会在 snapshotting 文件夹创建一个目录:2021080809,表示这是 2021-08-08 09 时的备份文件夹(注意这个时间是 UTC 时间)。这个目录里面还会有一个 dump.rdb 文件。如下图所示:

每天备份

和每小时备份类似,先创建一个每天备份一次的脚本:

vi /usr/local/redis/copy/redis_rdb_copy_daily.sh
chomd 777 *

编写脚本:

#!/bin/sh 

cur_date=`date +%Y%m%d`
rm -rf /usr/local/redis/snapshotting/$cur_date
mkdir /usr/local/redis/snapshotting/$cur_date
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date

del_date=`date -d -1month +%Y%m%d`
rm -rf /usr/local/redis/snapshotting/$del_date

创建每天备份一次的定时任务:

crontab -e

0 0 * * * sh /usr/local/redis/copy/redis_rdb_copy_daily.sh

手动执行备份脚本:

cd /usr/local/redis/copy
./redis_rdb_copy_daily.sh 

会在 snapshotting 文件夹创建一个目录:20210808,表示这是今天 2021-08-08 的备份文件夹(注意这个时间是 UTC 时间)。这个目录里面还会有一个 dump.rdb 文件。如下图所示:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lHdUuHwi-1652096213962)(http://cdn.jayh.club/blog/20210808/HKjN3PQpr2ng.png?imageslim)]

另外这些备份建议都上传到云服务器上。

从备份文件中恢复

假设一种场景:几个小时前上线的程序把 Redis 的数据都污染了,数据错了,该怎么办?

可以选择某个更早的时间点的备份文件进行恢复。

恢复的流程

  • 停止 Redis,暂时关闭 AOF 的持久化配置。
  • 删除 AOF 日志文件和 RDB 快照文件。
  • 拷贝 RDB 快照文件到 Redis 的 RDB 文件加载目录。
  • 重启 Redis,确认数据恢复成功。
  • 热修改 Redis 的 AOF 持久化配置,Redis 会将内存中的数据写入到 AOF 文件中。
  • 再次停止 Redis,手动修改配置文件,打开 AOF 持久化,防止热修改不生效。
  • 再次重启 Redis。

参考资料:

https://www.runoob.com/linux/linux-comm-date.html

相关文章
|
NoSQL Redis
真枪实弹,Redis 的 RDB 配置和数据恢复
真枪实弹,Redis 的 RDB 配置和数据恢复
530 0
真枪实弹,Redis 的 RDB 配置和数据恢复
|
8月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
3月前
|
缓存 负载均衡 监控
135_负载均衡:Redis缓存 - 提高缓存命中率的配置与最佳实践
在现代大型语言模型(LLM)部署架构中,缓存系统扮演着至关重要的角色。随着LLM应用规模的不断扩大和用户需求的持续增长,如何构建高效、可靠的缓存架构成为系统性能优化的核心挑战。Redis作为业界领先的内存数据库,因其高性能、丰富的数据结构和灵活的配置选项,已成为LLM部署中首选的缓存解决方案。
|
4月前
|
存储 缓存 NoSQL
Redis专题-实战篇二-商户查询缓存
本文介绍了缓存的基本概念、应用场景及实现方式,涵盖Redis缓存设计、缓存更新策略、缓存穿透问题及其解决方案。重点讲解了缓存空对象与布隆过滤器的使用,并通过代码示例演示了商铺查询的缓存优化实践。
231 1
Redis专题-实战篇二-商户查询缓存
|
3月前
|
缓存 运维 监控
Redis 7.0 高性能缓存架构设计与优化
🌟蒋星熠Jaxonic,技术宇宙中的星际旅人。深耕Redis 7.0高性能缓存架构,探索函数化编程、多层缓存、集群优化与分片消息系统,用代码在二进制星河中谱写极客诗篇。
|
8月前
|
缓存 NoSQL Java
Redis+Caffeine构建高性能二级缓存
大家好,我是摘星。今天为大家带来的是Redis+Caffeine构建高性能二级缓存,废话不多说直接开始~
1131 0
|
4月前
|
缓存 NoSQL 关系型数据库
Redis缓存和分布式锁
Redis 是一种高性能的键值存储系统,广泛用于缓存、消息队列和内存数据库。其典型应用包括缓解关系型数据库压力,通过缓存热点数据提高查询效率,支持高并发访问。此外,Redis 还可用于实现分布式锁,解决分布式系统中的资源竞争问题。文章还探讨了缓存的更新策略、缓存穿透与雪崩的解决方案,以及 Redlock 算法等关键技术。
|
8月前
|
消息中间件 缓存 NoSQL
基于Spring Data Redis与RabbitMQ实现字符串缓存和计数功能(数据同步)
总的来说,借助Spring Data Redis和RabbitMQ,我们可以轻松实现字符串缓存和计数的功能。而关键的部分不过是一些"厨房的套路",一旦你掌握了这些套路,那么你就像厨师一样可以准备出一道道饕餮美食了。通过这种方式促进数据处理效率无疑将大大提高我们的生产力。
271 32
|
8月前
|
缓存 NoSQL Java
Redis:现代服务端开发的缓存基石与电商实践-优雅草卓伊凡
Redis:现代服务端开发的缓存基石与电商实践-优雅草卓伊凡
222 5
Redis:现代服务端开发的缓存基石与电商实践-优雅草卓伊凡
|
10月前
|
缓存 NoSQL Java
Redis应用—8.相关的缓存框架
本文介绍了Ehcache和Guava Cache两个缓存框架及其使用方法,以及如何自定义缓存。主要内容包括:Ehcache缓存框架、Guava Cache缓存框架、自定义缓存。总结:Ehcache适合用作本地缓存或与Redis结合使用,Guava Cache则提供了更灵活的缓存管理和更高的并发性能。自定义缓存可以根据具体需求选择不同的数据结构和引用类型来实现特定的缓存策略。
631 16
Redis应用—8.相关的缓存框架