Redis——(主从复制、哨兵模式、集群)的部署及搭建(下)

简介:  哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复。缺点:写操作无法负载均衡,存储能力受到单机的限制,哨兵无法对从节点进行自动故障转移,在读写分离的场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控切换操作。  集群:通过集群,redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案。

5、Redis 哨兵模式 :

哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移

哨兵模式的原理 :

哨兵(sentinel):是一个分布式系统,用于对主从结构中的每台服务器进行监控

当出现故障时通过投票机制选择新的 Master 并将所有 Slave 连接到新的 Master。所以整个运行哨兵的集群的数量不得少于3个节点。

 

故障转移机制:  

a)由哨兵节点定期监控发现主节点是否出现故障

每个哨兵节点每隔1秒会向主节点、从节点及其它哨兵节点发送一次ping命令做一次心跳检测。

回复一个错误消息,那么这个哨兵就会认为这个主节点主观下线了(单方面的)。当超过半数

客观下线了。

 

b)当主节点出现故障,此时哨兵节点会通过Raft算法(选举算法)实现选举机制共同选举出一

故障转移和通知。所以整个运行哨兵的集群的数量不得少于3个节点。

 

c)由leader哨兵节点执行故障转移,过程如下:

  • 将某一个从节点升级为新的主节点,让其它从节点指向新的主节点:
  • 若原主节点恢复也变成从节点,并指向新的主节点:
  • 通知客户端主节点已经更换。

 

需要特别注意的是,客观下线是主节点才有的概念;如果从节点和哨兵节点发生故障,被哨兵

障转移操作。

 

 

 

主节点的选举:

  1. 过滤掉不健康的(已下线的),没有回复哨兵ping响应的从节点。
  2. 选择配置文件中从节点优先级配置最高的。(replica-priority,默认值为100)
  3. 选择复制偏移量最大,也就是复制最完整的从节点。

 

哨兵的启动依赖于主从模式,所以必须把主从模式安装好再去做哨兵模式。

 

6、哨兵模式的作用 :

监控:哨兵会不断地检查主节点和从节点是否运作正常

自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,

并让其他从节点改为复制新的主节点。

通知(提醒):哨兵可以将故障转移的结果发送给客户端

 

7、哨兵模式的结构 :

哨兵结构由两部分组成,哨兵节点和数据节点:

  • 哨兵节点:哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的redis节点,不存储数据。
  • 数据节点:主节点和从节点都是数据节点。

哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式,所有节点上都需要部署哨兵模式,哨兵模式会监控所有的 Redis 工作节点是否正常,当 Master 出现问题的时候,因为其他节点与主节点失去联系,因此会投票,投票过半就认为这个 Master 的确出现问题,然后会通知哨兵间,然后从 Slaves 中选取一个作为新的 Master。

需要特别注意的是,客观下线是主节点才有的概念;如果从节点和哨兵节点发生故障,被哨兵主观下线后,不会再有后续的客观下线和故障转移操作。

 

 

8、哨兵模式的搭建:

环境:基于上面主从复制的搭建

 

修改 Redis 配置文件(所有服务节点)都要编辑


systemctl stop firewalld
setenforce 0
vim /opt/redis-5.0.7/sentinel.conf
protected-mode no                               #17行,关闭保护模式
port 26379                                      #21行,Redis哨兵默认的监听端口
daemonize yes                                   #26行,指定sentinel为后台启动
logfile "/var/log/sentinel.log"                 #36行,指定日志存放路径
dir "/var/lib/redis/6379"                       #65行,指定数据库存放路径
sentinel monitor mymaster 20.0.0.20 6379 2  #84行,修改 指定该哨兵节点监控20.0.0.20:6379这个主节点,该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意,才能判定主节点故障并进行故障转移
sentinel down-after-milliseconds mymaster 30000 #113行,判定服务器down掉的时间周期,默认30000毫秒(30秒)
sentinel failover-timeout mymaster 180000       #146行,故障节点的最大超时时间为180000(180秒)


2387773-20210916153034496-838773745.png

2387773-20210916153127421-1756684636.png


启动哨兵模式,先启主在启从:


cd /opt/redis-5.0.7/
redis-sentinel sentinel.conf &
注意!先启动主服务器,再启动从服务器


2387773-20210916153250046-912873924.png

2387773-20210916153257877-231054417.png

2387773-20210916153305186-1726598577.png


故障模拟:

查看redis-server进程号


root      57394  0.0  0.1 165620  2660 ?        Ssl  15:12   0:04 /usr/local/redis/bin/redis-server 0.0.0.0:6379
root      58234  0.1  0.1 153844  2720 ?        Ssl  16:34   0:00 redis-sentinel *:26379 [sentinel]
root      58247  0.0  0.0 112676   980 pts/4    R+   16:34   0:00 grep --color=auto redis
[1]+  完成                  redis-sentinel sentinel.conf

杀死 Master 节点上redis-server的进程号


kill -9 4947            #Master节点上redis-server的进程号


2387773-20210916153443023-405357240.png


验证结果:


tail -f /var/log/sentinel.log


2387773-20210916153506685-2067369844.png


redis-cli -p 26379 INFO Sentinel


2387773-20210916153518604-45050392.png


9、Redis 群集模式 :

集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案。

集群由多个节点(Node)组成,Redis的数据分布在这些节点中。

集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制

 

 

 

10、集群的作用 :


a)数据分区:数据分区(或称数据分片)是集群最核心的功能。 集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;


另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。 Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;


例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。


b)高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。

 

11、Redis集群的数据分片 :


Redis集群引入了哈希槽的概念 Redis集群有16384个哈希槽(编号0-16383) 集群的每个节点负责一部分哈希槽 每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽,

通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作

 

#以3个节点组成的集群为例: 节点A包含0到5460号哈希槽 节点B包含5461到10922号哈希槽 节点C包含10923到16383号哈希槽

#Redis集群的主从复制模型 集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用

 

 

12、Redis 集群的搭建:



相关文章
|
8月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
895 6
|
9月前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
9月前
|
存储 负载均衡 NoSQL
Redis主从复制
在分布式系统中,为解决单点故障和提升性能,常采用Redis主从复制架构。通过将数据复制到多个从节点,实现读写分离、负载均衡及高可用性,同时支持多种拓扑结构以适应不同场景需求。
|
存储 NoSQL 网络安全
Redis安装(单机、主从、哨兵、集群)
Redis安装(单机、主从、哨兵、集群)
437 1
|
存储 NoSQL Redis
【NoSQL】redis主从、哨兵、集群(二)
【NoSQL】redis主从、哨兵、集群(二)
【NoSQL】redis主从、哨兵、集群(二)
|
存储 运维 监控
【Redis】主从、哨兵、集群架构
【Redis】主从、哨兵、集群架构
543 1
|
缓存 NoSQL 应用服务中间件
分布式缓存之Redis(持久化、主从、哨兵、分片集群)
分布式缓存之Redis(持久化、主从、哨兵、分片集群)
|
存储 NoSQL 算法
Redis主从、哨兵、 Cluster集群一锅端! 2
Redis主从、哨兵、 Cluster集群一锅端!
|
监控 NoSQL Redis
Redis主从、哨兵、 Cluster集群一锅端! 1
Redis主从、哨兵、 Cluster集群一锅端!
|
NoSQL 编译器 Redis
轻松掌握组件启动之Redis单机、主从、哨兵、集群配置
这篇文章介绍了Redis的单机配置启动和主从架构、哨兵、集群搭建方法。无论你是初学者还是有一定经验的开发者,这篇文章都能为你提供实用的指导,让你轻松掌握Redis的配置和架构搭建。
481 0