redis cluster(集群)模式-基于docker 哈希槽分区

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: redis cluster(集群)模式-基于docker 哈希槽分区

哈希槽分区在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里放的是数据。

1673317631180.jpg

一个集群只能有16384个槽,编号0-16383(0-2^14-1)。这些槽会分配给集群中的所有主节点,分配策略没有要求。可以指定哪些编号的槽分配给哪个主节点。集群会记录节点和槽的对应关系。解决了节点和槽的关系后,接下来就需要对key求哈希值,然后对16384取余,余数是几key就落入对应的槽里。slot = CRC16(key) % 16384。以槽为单位移动数据,因为槽的数目是固定的,处理起来比较容易,这样数据移动问题就解决了。


为什么是16384个槽?


https://github.com/antirez/redis/issues/2576

https://www.cnblogs.com/rjzheng/p/11430592.html


3主3从redis集群配置


1.systemctl start docker

2.新建6个docker容器redis实例

docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386


命令说明:


docker run  创建并运行docker容器实例
--name redis-node-6  容器名字
--net host  使用宿主机的IP和端口,默认
--privileged=true  获取宿主机root用户权限
-v /data/redis/share/redis-node-6:/data   容器卷,宿主机地址:docker内部地址
redis:6.0.8  redis镜像和版本号
--cluster-enabled yes  开启redis集群
--appendonly yes  开启持久化
--port 6386  redis端口号


3.进入容器redis-node-1并为6台机器构建集群关系


docker exec -it redis-node-1 /bin/bash
 // 注意自己的真实IP地址,--cluster-replicas 1 表示为每个master创建一个slave节点
 redis-cli --cluster create 192.168.111.147:6381 192.168.111.147:6382 192.168.111.147:6383 192.168.111.147:6384 192.168.111.147:6385 192.168.111.147:6386 --cluster-replicas 1

1673317736938.jpg

1673317746251.jpg

1673317754767.jpg

1673317762097.jpg

1673317768886.jpg

4.链接进入6381作为切入点,查看集群状态

cluster info

1673317792090.jpg

cluster nodes

1673317810628.jpg


主从容错切换


1673317821488.jpg


k1对应的哈希槽是12706,12706所属的集群节点的6383,这里连接的时候需要加个 -c


-c : 连接集群结点时使用,此选项可防止moved和ask异常。

1673317833214.jpg

查看集群信息


redis-cli --cluster check 192.168.111.147:6381
// 端口写6382,6383只要是主节点都可以

1673317854496.jpg

主6381和从机切换,先停止主机6381

docker stop redis-node-1


再次查看集群信息

1673317877147.jpg

6381宕机了,6385上位成为了新的master。

6381 master下面挂的从机以实际情况为准,具体是几号机器就是几号


先还原之前的3主3从

// 先启6381,再停6385,再启6385,因为会有心跳间隔时间,所以每次执行后cluster nodes,查看生效后再执行下一步
docker start redis-node-1
docker stop redis-node-5
docker start redis-node-5


最后查看一下,集群情况,确认ok

1673317896336.jpg


主从扩容


新建6387、6388两个节点


docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
 docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388
 docker ps


将新增的6387节点(空槽号)作为master节点加入原集群

docker exec -it redis-node-7 /bin/bash
 redis-cli --cluster add-node 自己实际IP地址:6387 自己实际IP地址:6381
 // 6387 将要作为master新增节点
 // 6381 原来集群节点里面的领路人(主节点)

1673317934047.jpg

1673317945826.jpg

检查集群情况

redis-cli --cluster check 真实ip地址:6381

1673317967147.jpg

重新分派槽号

redis-cli --cluster reshard IP地址:端口号
// redis-cli --cluster reshard 192.168.111.147:6381

1673317986936.jpg

检查集群情况


redis-cli --cluster check 真实ip地址:6381

1673318006112.jpg

1673318016341.jpg

重新分配成本太高,所以前3家各自匀出来一部分,从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387


为主节点6387分配从节点6388

redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
 // redis-cli --cluster add-node 192.168.111.147:6388 192.168.111.147:6387 --cluster-slave --cluster-master-id 新主机节点ID

1673318036342.jpg


检查集群情况

redis-cli --cluster check 192.168.111.147:6382

1673318051343.jpg

1673318057898.jpg


主从缩容


将上边扩的6387和6388下线


检查集群情况1获得6388的节点ID

redis-cli --cluster check 192.168.111.147:6382

将从节点6388删除

redis-cli --cluster del-node ip:从机端口 从机6388节点ID

执行完记得检查集群状态,看看是否删除了


将6387的槽号清空,重新分配,本例将清出来的槽号都给6381

redis-cli --cluster reshard 192.168.111.147:6381

1673318099991.jpg

1673318109383.jpg

如果要把槽号平均分给剩下的三个节点,每次分 4096/3 个,接收的节点id依次填入三个主节点id,执行三次就可以。


检查集群情况,删除6387主节点

redis-cli --cluster check 192.168.111.147:6381

1673318128572.jpg

redis-cli --cluster del-node ip:端口 6387节点ID

1673318159227.jpg

再次检查集群状态

redis-cli --cluster check 192.168.111.147:6381

1673317601254.jpg

相关文章
|
4月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
362 2
|
2月前
|
NoSQL Java 网络安全
SpringBoot启动时连接Redis报错:ERR This instance has cluster support disabled - 如何解决?
通过以上步骤一般可以解决由于配置不匹配造成的连接错误。在调试问题时,一定要确保服务端和客户端的Redis配置保持同步一致。这能够确保SpringBoot应用顺利连接到正确配置的Redis服务,无论是单机模式还是集群模式。
246 5
|
2月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
401 5
|
3月前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
5月前
|
负载均衡 NoSQL Redis
【赵渝强老师】Redis的主从复制集群
Redis主从复制是指将一台Redis服务器的数据复制到其他Redis服务器,实现数据热备份、故障恢复、负载均衡及高可用架构的基础。主节点负责写操作,从节点同步数据并可提供读服务,提升并发处理能力。
158 5
|
4月前
|
存储 NoSQL 算法
Redis的集群架构与使用经验
本文介绍了Redis的集群架构与使用经验,包括主从复制、哨兵集群及Cluster分片集群的应用场景与实现原理。内容涵盖Redis主从同步机制、数据分片存储方式、事务支持及与Memcached的区别,并讨论了Redis内存用尽时的处理策略。适用于了解Redis高可用与性能优化方案。
|
存储 运维 负载均衡
Redis Cluster集群原理+三主三从交叉复制实战+故障切换
Redis Cluster集群原理+三主三从交叉复制实战+故障切换
2388 0
Redis Cluster集群原理+三主三从交叉复制实战+故障切换
|
存储 NoSQL 算法
深入理解Redis分片Cluster原理
本文深入探讨了Redis Cluster的分片原理,作为Redis官方提供的高可用性和高性能解决方案,Redis Cluster通过数据分片和横向扩展能力,有效降低单个主节点的压力。
深入理解Redis分片Cluster原理
|
运维 NoSQL 算法
Java开发-深入理解Redis Cluster的工作原理
综上所述,Redis Cluster通过数据分片、节点发现、主从复制、数据迁移、故障检测和客户端路由等机制,实现了一个分布式的、高可用的Redis解决方案。它允许数据分布在多个节点上,提供了自动故障转移和读写分离的功能,适用于需要大规模、高性能、高可用性的应用场景。
222 0
|
存储 NoSQL 网络协议
Redis Cluster 原理说的头头是道,这些配置不懂就是纸上谈兵
Redis Cluster 原理说的头头是道,这些配置不懂就是纸上谈兵
200 0