Redis学习笔记之集群重启和遇到的坑

简介: Redis学习笔记之集群重启和遇到的坑

重启集群的步骤

以我的理解,Redis集群重启分2种:
1.普通重启,继续保留现有集群结构和持久化数据。
2.破坏重启,破坏掉集群结构和删除持久化数据,重启后相当于重新创建集群。
当然,通常我们肯定用的是第一种了。那么集群的重启步骤也很简单,就是先关闭再开启,下面以我的测试环境来举例。
一主一从,共6节点,都部署在一台服务器上。
1.普通重启
关闭集群:

redis-cli -c -h 192.168.211.131 -p 7000 shutdown
redis-cli -c -h 192.168.211.131 -p 7001 shutdown
redis-cli -c -h 192.168.211.131 -p 7002 shutdown
redis-cli -c -h 192.168.211.131 -p 7003 shutdown
redis-cli -c -h 192.168.211.131 -p 7004 shutdown
redis-cli -c -h 192.168.211.131 -p 7005 shutdown

启动集群:

redis-server /redis/redis-6.0.6/cluster/7000/redis.conf
redis-server /redis/redis-6.0.6/cluster/7001/redis.conf
redis-server /redis/redis-6.0.6/cluster/7002/redis.conf
redis-server /redis/redis-6.0.6/cluster/7003/redis.conf
redis-server /redis/redis-6.0.6/cluster/7004/redis.conf
redis-server /redis/redis-6.0.6/cluster/7005/redis.conf

2.破坏重启
关闭集群:

redis-cli -c -h 192.168.211.131 -p 7000 shutdown
redis-cli -c -h 192.168.211.131 -p 7001 shutdown
redis-cli -c -h 192.168.211.131 -p 7002 shutdown
redis-cli -c -h 192.168.211.131 -p 7003 shutdown
redis-cli -c -h 192.168.211.131 -p 7004 shutdown
redis-cli -c -h 192.168.211.131 -p 7005 shutdown

删除持久化文件、日志文件和集群配置文件

rm -f append.aof dump.rdb redis.log nodes*.conf

启动集群:

redis-server /redis/redis-6.0.6/cluster/7000/redis.conf
redis-server /redis/redis-6.0.6/cluster/7001/redis.conf
redis-server /redis/redis-6.0.6/cluster/7002/redis.conf
redis-server /redis/redis-6.0.6/cluster/7003/redis.conf
redis-server /redis/redis-6.0.6/cluster/7004/redis.conf
redis-server /redis/redis-6.0.6/cluster/7005/redis.conf

由于现有集群结构被破坏了,所以还要创建集群

redis-cli --cluster create 192.168.211.131:7000 192.168.211.131:7001 \
192.168.211.131:7002 192.168.211.131:7003 192.168.211.131:7004 \
192.168.211.131:7005 --cluster-replicas 1

这样一个新的集群就创建好了

在知道了集群重启的步骤后,来说下遇到的坑。

第一个坑

在自己的测试环境,一主一从,共6节点,都部署在一台服务器上,Redis开启了持久化,在重启集群后,发现有数据丢失,查看日志也没有发现错误,接下来在查看AOF文件和RDB文件后发现了问题,的确是有数据丢失,而且少的还是只有节点7001上的数据,这就很奇怪了,当时猜测是否是由于持久化文件在节点之间不共享,7001节点的文件被7000的覆盖掉了。为了验证这个推断,修改了appendfilename和dbfilename参数,每个节点文件名唯一。之后创建新数据,再次重启,这次没有发现数据丢失,所有数据都存在。
简单模拟下这个问题:
修改6个节点的持久化文件参数,使用默认参数

appendfilename appendonly.aof
dbfilename dump.rdb

启动Redis集群,新加数据
图片.png
重启集群
可以看出有的数据丢失了
图片.png
其实持久化的数据是可以在AOF文件中看到的,下面2个节点的AOF文件中的键值是相同的,可以大致推断出是一主一从节点。
图片.png
图片.png
从cluster nodes的结果来看,也能验证。
图片.png

第二个坑

redis.conf中的dir参数,这个参数配置的是工作目录,包括指定AOF文件和RDB文件的路径,如果不配置,那么RDB文件和AOF文件就会在执行redis-server启动命令的路径下创建。这样就会导致在重启后无法正确加载持久化文件,所以dir参数一定要配置。

相关文章
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
942 2
|
存储 NoSQL 数据库
Redis 逻辑数据库与集群模式详解
Redis 是高性能内存键值数据库,广泛用于缓存与实时数据处理。本文深入解析 Redis 逻辑数据库与集群模式:逻辑数据库提供16个独立存储空间,适合小规模隔离;集群模式通过分布式架构支持高并发和大数据量,但仅支持 database 0。文章对比两者特性,讲解配置与实践注意事项,并探讨持久化及性能优化策略,助你根据需求选择最佳方案。
1393 5
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
1169 6
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
监控 NoSQL Redis
看完这篇就能弄懂Redis的集群的原理了
看完这篇就能弄懂Redis的集群的原理了
1011 0
|
负载均衡 NoSQL Redis
【赵渝强老师】Redis的主从复制集群
Redis主从复制是指将一台Redis服务器的数据复制到其他Redis服务器,实现数据热备份、故障恢复、负载均衡及高可用架构的基础。主节点负责写操作,从节点同步数据并可提供读服务,提升并发处理能力。
516 5
|
存储 NoSQL 算法
Redis的集群架构与使用经验
本文介绍了Redis的集群架构与使用经验,包括主从复制、哨兵集群及Cluster分片集群的应用场景与实现原理。内容涵盖Redis主从同步机制、数据分片存储方式、事务支持及与Memcached的区别,并讨论了Redis内存用尽时的处理策略。适用于了解Redis高可用与性能优化方案。
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用的算法是哈希槽分区算法。Redis集群中有16384个哈希槽(槽的范围是 0 -16383,哈希槽),将不同的哈希槽分布在不同的Redis节点上面进行管理,也就是说每个Redis节点只负责一部分的哈希槽。在对数据进行操作的时候,集群会对使用CRC16算法对key进行计算并对16384取模(slot = CRC16(key)%16383),得到的结果就是 Key-Value 所放入的槽,通过这个值,去找到对应的槽所对应的Redis节点,然后直接到这个对应的节点上进行存取操作
|
缓存 NoSQL Redis
Redis原理—3.复制、哨兵和集群
详细介绍了Redis的复制原理、哨兵原理和集群原理。