redis cluster(集群)模式-基于docker 哈希槽分区

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: redis cluster(集群)模式-基于docker 哈希槽分区

哈希槽分区在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里放的是数据。

1673317631180.jpg

一个集群只能有16384个槽,编号0-16383(0-2^14-1)。这些槽会分配给集群中的所有主节点,分配策略没有要求。可以指定哪些编号的槽分配给哪个主节点。集群会记录节点和槽的对应关系。解决了节点和槽的关系后,接下来就需要对key求哈希值,然后对16384取余,余数是几key就落入对应的槽里。slot = CRC16(key) % 16384。以槽为单位移动数据,因为槽的数目是固定的,处理起来比较容易,这样数据移动问题就解决了。


为什么是16384个槽?


https://github.com/antirez/redis/issues/2576

https://www.cnblogs.com/rjzheng/p/11430592.html


3主3从redis集群配置


1.systemctl start docker

2.新建6个docker容器redis实例

docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386


命令说明:


docker run  创建并运行docker容器实例
--name redis-node-6  容器名字
--net host  使用宿主机的IP和端口,默认
--privileged=true  获取宿主机root用户权限
-v /data/redis/share/redis-node-6:/data   容器卷,宿主机地址:docker内部地址
redis:6.0.8  redis镜像和版本号
--cluster-enabled yes  开启redis集群
--appendonly yes  开启持久化
--port 6386  redis端口号


3.进入容器redis-node-1并为6台机器构建集群关系


docker exec -it redis-node-1 /bin/bash
 // 注意自己的真实IP地址,--cluster-replicas 1 表示为每个master创建一个slave节点
 redis-cli --cluster create 192.168.111.147:6381 192.168.111.147:6382 192.168.111.147:6383 192.168.111.147:6384 192.168.111.147:6385 192.168.111.147:6386 --cluster-replicas 1

1673317736938.jpg

1673317746251.jpg

1673317754767.jpg

1673317762097.jpg

1673317768886.jpg

4.链接进入6381作为切入点,查看集群状态

cluster info

1673317792090.jpg

cluster nodes

1673317810628.jpg


主从容错切换


1673317821488.jpg


k1对应的哈希槽是12706,12706所属的集群节点的6383,这里连接的时候需要加个 -c


-c : 连接集群结点时使用,此选项可防止moved和ask异常。

1673317833214.jpg

查看集群信息


redis-cli --cluster check 192.168.111.147:6381
// 端口写6382,6383只要是主节点都可以

1673317854496.jpg

主6381和从机切换,先停止主机6381

docker stop redis-node-1


再次查看集群信息

1673317877147.jpg

6381宕机了,6385上位成为了新的master。

6381 master下面挂的从机以实际情况为准,具体是几号机器就是几号


先还原之前的3主3从

// 先启6381,再停6385,再启6385,因为会有心跳间隔时间,所以每次执行后cluster nodes,查看生效后再执行下一步
docker start redis-node-1
docker stop redis-node-5
docker start redis-node-5


最后查看一下,集群情况,确认ok

1673317896336.jpg


主从扩容


新建6387、6388两个节点


docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
 docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388
 docker ps


将新增的6387节点(空槽号)作为master节点加入原集群

docker exec -it redis-node-7 /bin/bash
 redis-cli --cluster add-node 自己实际IP地址:6387 自己实际IP地址:6381
 // 6387 将要作为master新增节点
 // 6381 原来集群节点里面的领路人(主节点)

1673317934047.jpg

1673317945826.jpg

检查集群情况

redis-cli --cluster check 真实ip地址:6381

1673317967147.jpg

重新分派槽号

redis-cli --cluster reshard IP地址:端口号
// redis-cli --cluster reshard 192.168.111.147:6381

1673317986936.jpg

检查集群情况


redis-cli --cluster check 真实ip地址:6381

1673318006112.jpg

1673318016341.jpg

重新分配成本太高,所以前3家各自匀出来一部分,从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387


为主节点6387分配从节点6388

redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
 // redis-cli --cluster add-node 192.168.111.147:6388 192.168.111.147:6387 --cluster-slave --cluster-master-id 新主机节点ID

1673318036342.jpg


检查集群情况

redis-cli --cluster check 192.168.111.147:6382

1673318051343.jpg

1673318057898.jpg


主从缩容


将上边扩的6387和6388下线


检查集群情况1获得6388的节点ID

redis-cli --cluster check 192.168.111.147:6382

将从节点6388删除

redis-cli --cluster del-node ip:从机端口 从机6388节点ID

执行完记得检查集群状态,看看是否删除了


将6387的槽号清空,重新分配,本例将清出来的槽号都给6381

redis-cli --cluster reshard 192.168.111.147:6381

1673318099991.jpg

1673318109383.jpg

如果要把槽号平均分给剩下的三个节点,每次分 4096/3 个,接收的节点id依次填入三个主节点id,执行三次就可以。


检查集群情况,删除6387主节点

redis-cli --cluster check 192.168.111.147:6381

1673318128572.jpg

redis-cli --cluster del-node ip:端口 6387节点ID

1673318159227.jpg

再次检查集群状态

redis-cli --cluster check 192.168.111.147:6381

1673317601254.jpg

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
16天前
|
NoSQL Linux Redis
06- 你们使用Redis是单点还是集群 ? 哪种集群 ?
**Redis配置:** 使用哨兵集群,结构为1主2从,加上3个哨兵节点,总计分布在3台Linux服务器上,提供高可用性。
230 0
|
24天前
|
负载均衡 监控 NoSQL
Redis的集群方案有哪些?
Redis集群包括主从复制(基础,手动故障恢复)、哨兵模式(自动高可用)和Redis Cluster(官方分布式解决方案,自动分片和容错)。此外,还有如Codis、Redisson和Twemproxy等第三方工具用于代理和负载均衡。选择方案需考虑应用场景、数据规模和并发需求。
196 2
|
30天前
|
NoSQL Redis
Redis集群(六):集群常用命令及说明
Redis集群(六):集群常用命令及说明
190 0
|
29天前
|
NoSQL Redis Docker
Docker中Redis数据迁移到本地
Docker中Redis数据迁移到本地
19 1
|
1天前
|
存储 NoSQL 算法
Redis 搭建分片集群
Redis 搭建分片集群
|
3天前
|
存储 缓存 运维
软件体系结构 - 缓存技术(5)Redis Cluster
【4月更文挑战第20天】软件体系结构 - 缓存技术(5)Redis Cluster
136 10
|
15天前
|
运维 NoSQL 算法
Java开发-深入理解Redis Cluster的工作原理
综上所述,Redis Cluster通过数据分片、节点发现、主从复制、数据迁移、故障检测和客户端路由等机制,实现了一个分布式的、高可用的Redis解决方案。它允许数据分布在多个节点上,提供了自动故障转移和读写分离的功能,适用于需要大规模、高性能、高可用性的应用场景。
16 0
|
24天前
|
NoSQL Java 测试技术
面试官:如何搭建Redis集群?
**Redis Cluster** 是从 Redis 3.0 开始引入的集群解决方案,它分散数据以减少对单个主节点的依赖,提升读写性能。16384 个槽位分配给节点,客户端通过槽位信息直接路由请求。集群是无代理、去中心化的,多数命令直接由节点处理,保持高性能。通过 `create-cluster` 工具快速搭建集群,但适用于测试环境。在生产环境,需手动配置文件,启动节点,然后使用 `redis-cli --cluster create` 分配槽位和从节点。集群动态添加删除节点、数据重新分片及故障转移涉及复杂操作,包括主从切换和槽位迁移。
32 0
面试官:如何搭建Redis集群?
|
28天前
|
存储 缓存 NoSQL
【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(集群功能分析)(一)
【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(集群功能分析)
323 0
|
29天前
|
NoSQL 关系型数据库 MySQL
安装Docker&镜像容器操作&使用Docker安装部署MySQL,Redis,RabbitMQ,Nacos,Seata,Minio
安装Docker&镜像容器操作&使用Docker安装部署MySQL,Redis,RabbitMQ,Nacos,Seata,Minio
383 1