redis cluster(集群)模式-基于docker 哈希槽分区

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: redis cluster(集群)模式-基于docker 哈希槽分区

哈希槽分区在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里放的是数据。

1673317631180.jpg

一个集群只能有16384个槽,编号0-16383(0-2^14-1)。这些槽会分配给集群中的所有主节点,分配策略没有要求。可以指定哪些编号的槽分配给哪个主节点。集群会记录节点和槽的对应关系。解决了节点和槽的关系后,接下来就需要对key求哈希值,然后对16384取余,余数是几key就落入对应的槽里。slot = CRC16(key) % 16384。以槽为单位移动数据,因为槽的数目是固定的,处理起来比较容易,这样数据移动问题就解决了。


为什么是16384个槽?


https://github.com/antirez/redis/issues/2576

https://www.cnblogs.com/rjzheng/p/11430592.html


3主3从redis集群配置


1.systemctl start docker

2.新建6个docker容器redis实例

docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386


命令说明:


docker run  创建并运行docker容器实例
--name redis-node-6  容器名字
--net host  使用宿主机的IP和端口,默认
--privileged=true  获取宿主机root用户权限
-v /data/redis/share/redis-node-6:/data   容器卷,宿主机地址:docker内部地址
redis:6.0.8  redis镜像和版本号
--cluster-enabled yes  开启redis集群
--appendonly yes  开启持久化
--port 6386  redis端口号


3.进入容器redis-node-1并为6台机器构建集群关系


docker exec -it redis-node-1 /bin/bash
 // 注意自己的真实IP地址,--cluster-replicas 1 表示为每个master创建一个slave节点
 redis-cli --cluster create 192.168.111.147:6381 192.168.111.147:6382 192.168.111.147:6383 192.168.111.147:6384 192.168.111.147:6385 192.168.111.147:6386 --cluster-replicas 1

1673317736938.jpg

1673317746251.jpg

1673317754767.jpg

1673317762097.jpg

1673317768886.jpg

4.链接进入6381作为切入点,查看集群状态

cluster info

1673317792090.jpg

cluster nodes

1673317810628.jpg


主从容错切换


1673317821488.jpg


k1对应的哈希槽是12706,12706所属的集群节点的6383,这里连接的时候需要加个 -c


-c : 连接集群结点时使用,此选项可防止moved和ask异常。

1673317833214.jpg

查看集群信息


redis-cli --cluster check 192.168.111.147:6381
// 端口写6382,6383只要是主节点都可以

1673317854496.jpg

主6381和从机切换,先停止主机6381

docker stop redis-node-1


再次查看集群信息

1673317877147.jpg

6381宕机了,6385上位成为了新的master。

6381 master下面挂的从机以实际情况为准,具体是几号机器就是几号


先还原之前的3主3从

// 先启6381,再停6385,再启6385,因为会有心跳间隔时间,所以每次执行后cluster nodes,查看生效后再执行下一步
docker start redis-node-1
docker stop redis-node-5
docker start redis-node-5


最后查看一下,集群情况,确认ok

1673317896336.jpg


主从扩容


新建6387、6388两个节点


docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
 docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388
 docker ps


将新增的6387节点(空槽号)作为master节点加入原集群

docker exec -it redis-node-7 /bin/bash
 redis-cli --cluster add-node 自己实际IP地址:6387 自己实际IP地址:6381
 // 6387 将要作为master新增节点
 // 6381 原来集群节点里面的领路人(主节点)

1673317934047.jpg

1673317945826.jpg

检查集群情况

redis-cli --cluster check 真实ip地址:6381

1673317967147.jpg

重新分派槽号

redis-cli --cluster reshard IP地址:端口号
// redis-cli --cluster reshard 192.168.111.147:6381

1673317986936.jpg

检查集群情况


redis-cli --cluster check 真实ip地址:6381

1673318006112.jpg

1673318016341.jpg

重新分配成本太高,所以前3家各自匀出来一部分,从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387


为主节点6387分配从节点6388

redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
 // redis-cli --cluster add-node 192.168.111.147:6388 192.168.111.147:6387 --cluster-slave --cluster-master-id 新主机节点ID

1673318036342.jpg


检查集群情况

redis-cli --cluster check 192.168.111.147:6382

1673318051343.jpg

1673318057898.jpg


主从缩容


将上边扩的6387和6388下线


检查集群情况1获得6388的节点ID

redis-cli --cluster check 192.168.111.147:6382

将从节点6388删除

redis-cli --cluster del-node ip:从机端口 从机6388节点ID

执行完记得检查集群状态,看看是否删除了


将6387的槽号清空,重新分配,本例将清出来的槽号都给6381

redis-cli --cluster reshard 192.168.111.147:6381

1673318099991.jpg

1673318109383.jpg

如果要把槽号平均分给剩下的三个节点,每次分 4096/3 个,接收的节点id依次填入三个主节点id,执行三次就可以。


检查集群情况,删除6387主节点

redis-cli --cluster check 192.168.111.147:6381

1673318128572.jpg

redis-cli --cluster del-node ip:端口 6387节点ID

1673318159227.jpg

再次检查集群状态

redis-cli --cluster check 192.168.111.147:6381

1673317601254.jpg

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
网络安全 Docker 容器
|
2月前
|
安全 Docker 容器
|
2月前
|
网络安全 Docker 容器
|
2月前
|
网络安全 数据安全/隐私保护 Docker
|
2月前
|
运维 监控 数据安全/隐私保护
管理 Docker Swarm 集群注意事项
【10月更文挑战第7天】
44 3
|
8天前
|
NoSQL 算法 Redis
docker高级篇(大厂进阶):安装redis集群
docker高级篇(大厂进阶):安装redis集群
61 24
|
24天前
|
Prometheus 监控 Cloud Native
如何使用Prometheus监控Docker Swarm集群的资源使用情况?
还可以根据实际需求进行进一步的配置和优化,如设置告警规则,当资源使用超出阈值时及时发出警报。通过这些步骤,能够有效地使用 Prometheus 对 Docker Swarm 集群的资源进行监控和管理。
41 8
|
24天前
|
Prometheus 监控 Cloud Native
如何监控Docker Swarm集群的性能?
如何监控Docker Swarm集群的性能?
80 8
|
24天前
|
监控 Docker 容器
Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项
本文深入探讨了Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项,旨在帮助用户高效管理集群资源,适应业务变化,确保服务稳定性和资源优化。
46 6
|
1月前
|
NoSQL 数据处理 Redis
Redis 分区
10月更文挑战第22天
14 1