Redis Cluster高可用集群搭建

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis Cluster高可用集群搭建

在前面两篇文章中,分别介绍了Redis的主从复制哨兵模式,这篇文章我们来介绍一下Redis官方推荐的集群部署方案Redis Cluster,以及它的动态扩容、缩容过程。

Redis Cluster集群是一个由多个主从节点群组成的分布式服务器群,它具有复制、高可用和分片特性。它不需要Sentinel哨兵也能完成节点移除和故障转移的功能,并且它的性能和高可用性均优于哨兵模式,集群配置也非常简单。

在配置过程中,需要将每个节点设置成集群模式,这种集群模式没有中心节点,可水平扩展,官方文档称可以线性扩展到 1000节点。

image.png

首先我们采用原生搭建的方式搭建3主3从的Redis Cluster,分别给3个master节点配置一个slave节点,总计6个Redis节点。

1、修改配置文件

通用配置:

bind 0.0.0.0
port 7000
pidfile /var/run/redis_7000.pid
logfile "redis7000.log"
dbfilename dump7000.rdb
dir /home/hydra/files/redis/cluster/redis7000
masterauth 123456   
requirepass 123456
appendonly yes 
appendfilename "appendonly7000.aof"

核心配置:

cluster-enabled yes
cluster-config-file nodes-7000.conf #这个config会保存集群配置
cluster-node-timeout 15000  #超时时间
cluster-replica-validity-factor 10
cluster-require-full-coverage  no  #重要配置

修改其余5个配置文件中的端口号,然后分别启动6个Redis实例:

image.png

登陆redis-cli,使用cluster nodes 指令查看集群状态,现在集群下只存在当前一个节点

image.png

其他5台Redis实例相同,当前仍然处于各自独立状态

2、集群节点关联

使用meet指令进行集群下节点的关联,在7000节点上执行:

cluster meet 127.0.0.1 7001

这样7000和7001节点就能通讯了,再执行cluster nodes,可以看见节点已经关联了。如果再关联一个节点,那么3个节点都会互相关联。继续执行:

cluster meet 127.0.0.1 7002
cluster meet 127.0.0.1 7003
cluster meet 127.0.0.1 7004
cluster meet 127.0.0.1 7005

这样6台redis实例就全部关联起来了:

image.png

但是可以看到,当前默认全都是master节点,没有从节点,仍然不能进行写入操作。

3、指派槽位(slot)

首先尝试向节点写入值,写入失败,提示没有分配slot槽位

image.png

这里首先解释槽位的概念,Redis集群中内置了16384个哈希槽,当需要在 Redis集群中放置一条数据时,Redis先对key使用crc16算法算出一个结果,然后把结果对16384取余,这样每个key都会对应一个编号在0-16383之间的哈希槽,Redis会根据节点数量大致均等的将哈希槽映射到不同的节点。映射流程如下图所示:

image.png

当前配置架构为3主3从形式,平均分配16384个槽位:

  • 节点7000分配:0-5461
  • 节点7001分配:5462-10922
  • 节点7002分配:10923-16383

分配槽位指令:

cluster addslots slot #slot为槽位下标

那么在redis7000势力上就需要执行:

cluster addslots 0
...
cluster addslots 5461

如果要所有key值都能正常执行,需要手动执行16384次,因此创建脚本进行批量执行:

start=$1
end=$2
port=$3
for slot in `seq ${start} ${end}`
do
    echo "slot:${slot}"
    /home/hydra/files/redis/redis-5.0.4/src/redis-cli -h 127.0.0.1 -p ${port} -a 123456 cluster addslots ${slot}
done

执行shell脚本:

sh addslots.sh 0 5461 7000
sh addslots.sh 5462 10922 7001
sh addslots.sh 10923 16383 7002

查看集群状态:

image.png

显示槽位分配成功,需要注意在Redis Cluster中,只有master主机才有槽位的概念,从机不需要分配槽位。当前我们采用的是平均分配的方式,在实际环境下,如果服务器性能有差别,可以往性能好的服务器多分配一些槽位。

4、分配主从

Redis cluster分配主从命令:

cluster replicate node-id

如果要让7003作为7000的从机,首先登录7003,执行:

cluster replicate  9d73de74af827cd5025dcd3910d8c2919d9aa24b

后面的40位id为redis7000的node-id。继续将redis7004的主机指派为redis7001,reids7005的主机指派为redis7002。查看集群状态:

image.png

其中,集群的信息会被保存到集群的配置信息会存到redis700x/node-700x.conf的配置文件中。

以集群方式运行客户端,在redis-cli加上启动参数-c

../redis-5.0.4/src/redis-cli -h 172.16.67.134 -p 7000 -a 123456 -c

尝试写入数据,不同数据会根据槽位不同被写到不同主机上

image.png

到这,3主3从的架构的Redis Cluster就搭建完毕了。

image.png

除了手动使用命令搭建Redis Cluster外,还可以使用Redis提供的内置指令来进行一键快速搭建。首先,与手动搭建相同,先修改配置文件,配置与上面完全相同,修改完成后启动。

启动完成后,使用cluster create指令进行搭建:

../redis-5.0.4/src/redis-cli --cluster create 
    127.0.0.1:8000 127.0.0.1:8001 127.0.0.1:8002 
    127.0.0.1:8003 127.0.0.1:8004 127.0.0.1:8006 
    --cluster-replicas 1  -a 123456

这里的--cluster-replicas 1 表示1主1从架构。如果要分配为1主2从,那么就要写成:

--cluster-replicas 2

image.png

输入yes进行确认:

image.png

搭建完成,查看一下集群状态:

image.png

包括meet,槽位分配和主从分配全部自动完成。

image.png

1、准备新节点

新建两个redis7006,redis7007,将之前的配置文件拷过来,启动实例。这时候这两个是孤立的节点:

image.png

2、将新的主节点加入集群

使用redis-cli,语法为:

--cluster add-node <newNode ip:port> <oldNode ip:port>

执行:

../redis-5.0.4/src/redis-cli --cluster add-node 
    127.0.0.1:7006 127.0.0.1:7000 -a 123456

执行完成后,新节点被加入集群中:

image.png

添加完成后,默认加进来是master节点,并且没有分配槽位:

image.png

3、添加从节点,并指定它的主节点

语法:

--cluster add-node <newIp:port> <oldIp:port> 
  --cluster-slave --cluster-master-id masterID

执行:

../redis-5.0.4/src/redis-cli --cluster add-node 
  127.0.0.1:7007 127.0.0.1:7000  
  --cluster-slave --cluster-master-id edc8ff41aef320beb5081c5b50bf32485a7ffb9e 
  -a 123456

redis7007被指定为redis7006的从节点:

image.png

查看集群状态:

image.png

4、迁移槽位和数据

语法:

/redis-cli --cluster reshard <ip:port>

执行:

../redis-5.0.4/src/redis-cli 
  --cluster reshard 172.16.67.134:7000  -a 123456

迁移过程中,会进行询问:

  • How many slots do you want to move (from 1 to 16384)?
    提示要分配多少槽:平均分到4个实例,所以输入4096
  • What is the receiving node ID?  
    接收节点ID:输入7006的node-id
  • 【all/done】从哪些分配

       all,所有节点平均分配

       或手动输入node-id分配,done结束

查看集群状态:

image.png

分配完成后,可以查看7006的槽位,看出3个主节点每个都给它分配了一些槽位:

  • 0-1365
  • 5462-6826
  • 10923-12287

image.png

在集群缩容中,我们需要先删除槽位,再删除节点。如果直接删除一个主节点,那么它的从节点就会变成主节点。

1、下线迁移槽

语法:

redis-cli --cluster reshard --cluster-from 要迁出节点ID 
  --cluster-to 接收槽节点ID --cluster-slots 迁出槽数量 
  已存在节点ip 端口

首先将7006的 0-1365迁移回7000,执行:

../redis-5.0.4/src/redis-cli --cluster reshard  
  --cluster-from  edc8ff41aef320beb5081c5b50bf32485a7ffb9e 
  --cluster-to 9d73de74af827cd5025dcd3910d8c2919d9aa24b 
  --cluster-slots 1366 127.0.0.1 7000 -a 12345

之后同样的方式将其余槽位迁移回redis7001和redis7002节点。执行完成后,redis7006上的槽位全部被迁移回3台主机:

image.png

2、删除节点

语法:

redis-cli --cluster del-node 已存在节点ID:端口 要删除的节点ID

先删除7006:

../redis-5.0.4/src/redis-cli --cluster del-node  
  127.0.0.1:7000 edc8ff41aef320beb5081c5b50bf32485a7ffb9e 
  -a 123456

image.png

执行完成后,节点会关机,后台会直接杀死redis7006的进程。再看一下集群状态:

image.png

这时候会把redis7007分配给其他的主节点作为从节点,这是因为redis7006没有槽位和数据,因此没有发生故障转移,把redis7007升级为主节点。那么我们再看一下故障转移过程,使用kill指令杀死redis7000进程后:

image.png

redis7000变成fail状态,并且它的从机redis7003继承了它的槽位和数据。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
6月前
|
NoSQL Redis
基于Redis的高可用分布式锁——RedLock
这篇文章介绍了基于Redis的高可用分布式锁RedLock的概念、工作流程、获取和释放锁的方法,以及RedLock相比单机锁在高可用性上的优势,同时指出了其在某些特殊场景下的不足,并提到了ZooKeeper作为另一种实现分布式锁的方案。
173 2
基于Redis的高可用分布式锁——RedLock
|
1月前
|
存储 负载均衡 NoSQL
搭建高可用及负载均衡的Redis
通过本文介绍的高可用及负载均衡Redis架构,可以有效提升Redis服务的可靠性和性能。主从复制、哨兵模式、Redis集群以及负载均衡技术的结合,使得Redis系统在应对高并发和数据一致性方面表现出色。这些配置和技术不仅适用于小型应用,也能够支持大规模企业级应用的需求。希望本文能够为您的Redis部署提供实用指导和参考。
160 9
|
6月前
|
监控 NoSQL Redis
看完这篇就能弄懂Redis的集群的原理了
看完这篇就能弄懂Redis的集群的原理了
236 0
|
2月前
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
72 5
|
4月前
|
存储 NoSQL 大数据
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
65 3
|
6月前
|
存储 NoSQL 算法
深入理解Redis分片Cluster原理
本文深入探讨了Redis Cluster的分片原理,作为Redis官方提供的高可用性和高性能解决方案,Redis Cluster通过数据分片和横向扩展能力,有效降低单个主节点的压力。
深入理解Redis分片Cluster原理
|
6月前
|
缓存 NoSQL 网络协议
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
|
6月前
|
缓存 NoSQL Redis
【Azure Redis 缓存】Windows版创建 Redis Cluster 实验 (精简版)
【Azure Redis 缓存】Windows版创建 Redis Cluster 实验 (精简版)
|
6月前
|
NoSQL Redis
Redis——单机迁移cluster集群如何快速迁移
Redis——单机迁移cluster集群如何快速迁移
179 0