redis sentinel 主从切换(failover)解决方案,详细配置

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介:

主从复制简单来说就是把一台redis数据库中的数据同步到另一台redis数据库,并且按照数据流向,数据的发送者我们称作master,数据的接受者我们称作slave(master/slave的划分并不是那么一定的,譬如B可以作为A的slave,但同时也可以作为C的master),下面就从slave和master的角度分别说明主从复制流程。 

首先是slave端,对于slave端来说,主从复制主要经历四个阶段: 

第一阶段:与master建立连接 
第二阶段:向master发起同步请求(SYNC) 
第三阶段:接受master发来的RDB数据 
第四阶段:载入RDB文件 

下面我们就通过一个图来概述在每一个阶段中,slave究竟做了些什么: 



关于上图,有一点说明下:redis接收到slaveof master_host master_port命令后并没有马上与master建立连接,而是当执行服务器例行任务serverCron,发现自己正处于REDIS_REPL_CONNECT状态,这时才真正的向maser发起连接,伪代码: 

Python代码  收藏代码

  1. def serverCron():  

  2.     # 服务器处于REDIS_REPL_CONNECT状态  

  3.     if redisServer.repl_state == REDIS_REPL_CONNECT:  

  4.         # 向master发起连接  

  5.         connectWithMaster()  

  6.     # 其他例行任务(省略)...  



接着我们来看下主从复制过程中,master这边的流程是如何,在具体看细节之前,我们先综合来看master这边主要做的几件事情: 

 

看完这个图,你也许会有以下几个疑问: 

1. 为什么在master发送完RDB文件后,还要定期的向slave发送PING命令? 
2. 在发送完RDB文件之后,master发送的“变更”命令又是什么,有什么用? 

在回答问题之前1,我们先回答问题2: 
master保存RDB文件是通过一个子进程进行的,所以master依然可以处理客户端请求而不被阻塞,但这也导致了在保存RDB文件期间,“键空间”可能发生变化(譬如接收到一个客户端请求,执行"set name diaocow"命令),因此为了保证数据同步的一致性,master会在保存RDB文件期间,把接受到的这些可能变更数据库“键空间”的命令保存下来,然后放到每个slave的回复列表中,当RDB文件发送完master会发送这些回复列表中的内容,并且在这之后,如果数据库发生变更,master依然会把变更的命令追加到回复列表发送给slave,这样就可以保证master和slave数据的一致性!相关伪代码: 

Python代码  收藏代码

  1. def processCommand(cmd, argc, argv):  

  2.     # 处理命令  

  3.     call(cmd, argc, argv)  

  4.     # 如果该命令造成数据库键空间变化and当前redis是一个master,则同步变更命令  

  5.     if redisServer.update_key_space and len(redisServer.slaves) > 0:  

  6.         replicationFeedSlaves(cmd, argc, argv)  

  7.   

  8. def replicationFeedSlaves(cmd, argc, argv):   

  9.     # 把变更命令发送给每一个处于:REDIS_REPL_WAIT_BGSAVE_END状态的slave节点  

  10.     for slave in redisServer.slaves:  

  11.         if slave.replstate == REDIS_REPL_WAIT_BGSAVE_START:  

  12.             continue  

  13.         slave.updateNotify(cmd, argc, argv)  


由于在发送完RDB文件之后,master会不定时的给slave发送“变更”命令,可能过1s,也可能过1小时,所以为了防止slave无意义等待(譬如master已经挂掉的情况),master需要定时发送“保活”命令PING,以此告诉slave:我还活着,不要中断与我的连接 

现在我们就看下,当master接受到slave发送的sync同步命令后究竟发生了哪些事: 


上图看似分支复杂,但我们抓住以下几点即可: 

1.保存RDB文件是在一个子进程中进行的; 
2.如果master已经在保存RDB文件,但是没有客户端正在等待这次BGSAVE,新添加的slave需要等到下次BGSAVE,而不能直接使用这次生成的RDB文件(原因图中已经说明) 
3.master会定期检查RDB文件是否保存完毕(时间事件serverCron); 

接下来我们看下,master是如何给每一个slave发送RDB文件的: 

 

好了,至此我们已经分析完在主从复制过程中,master和slave两边分别是怎么一个处理流程;最后,我绘制了一个图,综述了主从复制这一过程(我们可以边看图,边回忆其中的具体细节): 



PS:在主从复制过程中,任何一步发生错误,都会导致整个过程重头开始,所以若RDB文件很大又或是此时正处在业务高峰期,对系统性能将会有非常大的影响! 

总结: 
1. 了解主从复制master和slave的概念; 
2. 了解主从复制执行过程,特别是其中关键的几步; 
3. 了解目前主从复制过程中尚存的不足之处; 





oyhk 学习笔记

网站的访问量慢慢上来了。为了网站的性能方面,开始用了redis做缓存策略。刚开始的时候,redis是一个单点,当一台机器岩机的时候,redis的服务完全停止,这时就会影响其他服务的正常运行。费话不多说了,下面利用redis sentinel做一个主从切换的集群管理。做这个集群管理的时候,查过很多资料才完全了解,他是怎么做的。

Java 客户端请看:

http://blog.mkfree.com/posts/52b146e6479e5a64742fddd0

参考资料:http://redis.io/topics/sentinel 我也是看这篇文章。

环境配置:

由于我这次配置没有太多的机器,我用了vagrant 去开了多台虚拟机。然后搭好了环境。

redis的安装请参考:redis 简单官方脚本安装方法(linux)

集群配置最少需要三台机器,那么我就三台虚拟机,三台虚拟机分别安装同样的redis的环境

ip分别:

  • 192.168.9.17  (redis sentinel 集群监控)

  • 192.168.9.18  (redis 主)

  • 192.168.9.19  (redis 从)

redis配置:

主的redis配置文件,使用默认的配置文件就可以了,如果你需要设计其他参数

从的redis配置文件,添加

#从的redis配置文件,需要添加vim /etc/redis/6379.confslaveof 192.168.9.18 6379

启动主从redis

#启动主redis(192.168.9.18)/etc/init.d/redis_6379.conf start#启动从redis(192.168.9.19)/etc/init.d/redis_6379.conf start

查看主redis信息

#查看主redis的信息redis-cli -h 192.168.9.18 info Replication# Replicationrole:master #代表192.168.9.18:6379 这台redis是主connected_slaves:1slave0:192.168.9.18,6379,online

查看从redis信息

#查看主redis的信息redis-cli -h 192.168.9.19 info Replication# Replicationrole:slave #代表192.168.9.18:6379 这台redis是主master_host:192.168.9.18master_port:6379master_link_status:up
master_last_io_seconds_ago:4master_sync_in_progress:0slave_priority:100slave_read_only:1connected_slaves:0

配置redis sentinel集群监控服务

1.添加一份redis sentinel 配置文件

vim /etc/redis/sentinel.conf##redis-0##sentinel实例之间的通讯端口port 26379#master1
sentinel monitor master1 192.168.9.18 6379 1sentinel down-after-milliseconds master1 5000sentinel failover-timeout master1 900000sentinel can-failover master1 yes
sentinel parallel-syncs master1 2#master2  可以添加多组主从的redis监听.......

2.有配置文件了,那么启动redis sentinel做redis集群监听

redis-sentinel sentinel.conf --sentinel

好了,所有环境都搭好了。下面开始正式的演示

1.正常演示。

  • 主的redis启动

  • 把从的redis启动

  • 把redis sentinel 集群监听启动

观察redis sentinel 日志信息

这里很清楚地看到,从的redis加入了集群

[4925] 15 Oct 03:42:21.889 * +slave slave 192.168.9.19:6379 192.168.9.19 6379 @ master1 192.168.9.18 6379

执行以下命令,查看redis主从信息

[root@localhost vagrant]# redis-cli -h 192.168.9.17 -p 26379 info Sentinel# Sentinelsentinel_masters:1sentinel_tilt:0sentinel_running_scripts:0sentinel_scripts_queue_length:0master0:name=master1,status=ok,address=192.168.9.18:6379,slaves=1,sentinels=1

那么表示一切都正常了。你的redis sentinel集群已经配置成功!



2.故障演示


2.1当主的redis 服务器岩机了,会发生什么情况呢?

执行以下命令使用主的redis服务停止

redis-cli -h 192.168.9.18 -p 6379 shutdown #表示把192.168.9.18这台redis 关闭

关闭后,我们再查看redis sentinel 的日志情况


这张图片很清晰地反应到,redis sentinel 监控到主的redis服务停止,然后自动把从的redis切换到主。

再执行以下命令,查看redis主从信息

[root@localhost vagrant]# redis-cli -h 192.168.33.111 -p 26379 info Sentinel# Sentinelsentinel_masters:1sentinel_tilt:0sentinel_running_scripts:0sentinel_scripts_queue_length:0master0:name=master1,status=ok,address=192.168.9.19:6379,slaves=1,sentinels=1

把从已经升为主了。那么自动切换就已经成功了!


2.2 当我们已经发现,一台redis发生故障了,可能会收到一些故障信息,那么再把服务已关闭的redis恢复服务状态,会发生怎么样的情况呢?

redis sentinel 集群服务,会把上次主redis重新加入服务中,但是他再以不是主的redis了,变成从的reids。



     本文转自yzy121403725 51CTO博客,原文链接:http://blog.51cto.com/lookingdream/1812863 ,如需转载请自行联系原作者





相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
4月前
|
存储 缓存 NoSQL
Redis常见面试题(二):redis分布式锁、redisson、主从一致性、Redlock红锁;Redis集群、主从复制,哨兵模式,分片集群;Redis为什么这么快,I/O多路复用模型
redis分布式锁、redisson、可重入、主从一致性、WatchDog、Redlock红锁、zookeeper;Redis集群、主从复制,全量同步、增量同步;哨兵,分片集群,Redis为什么这么快,I/O多路复用模型——用户空间和内核空间、阻塞IO、非阻塞IO、IO多路复用,Redis网络模型
Redis常见面试题(二):redis分布式锁、redisson、主从一致性、Redlock红锁;Redis集群、主从复制,哨兵模式,分片集群;Redis为什么这么快,I/O多路复用模型
|
2月前
|
监控 NoSQL Redis
Redis Sentinel:秒杀系统背后的可靠性保障神器!
本文详细介绍了如何在个人项目中利用 Redis 哨兵模式保障系统的可靠性与高可用性。哨兵模式通过监控主从服务器状态、自动故障转移和通知客户端等功能,确保在主服务器宕机时系统仍能正常运行。适用于读请求多于写请求的场景,如秒杀系统,能有效缓解数据库压力。同时也探讨了哨兵模式在高并发场景下的优化方法及潜在缺陷,帮助开发者更好地应用该模式。
69 7
Redis Sentinel:秒杀系统背后的可靠性保障神器!
|
1月前
|
监控 NoSQL 算法
Redis Sentinel(哨兵)详解
Redis Sentinel(哨兵)详解
100 4
|
2月前
|
存储 缓存 NoSQL
Redis 大 Key 对持久化的影响及解决方案
Redis 大 Key 对持久化的影响及解决方案
46 1
|
2月前
|
存储 缓存 NoSQL
Redis中大Key与热Key的解决方案
在工作中,Redis作为一款高性能缓存数据库被广泛应用,但常遇到“大key”和“热key”问题。“大key”指单个键包含大量数据,导致内存消耗高、性能下降及持久化效率降低;“热key”则是频繁访问的键,会引起CPU占用率高、请求阻塞等问题。本文详细分析了这些问题的定义、影响、原因,并提供了相应的解决方案,如合理设置缓存时间和数据结构、拆分大key、采用热点数据分片等方法。
245 4
Redis中大Key与热Key的解决方案
|
3月前
|
运维 监控 NoSQL
【Redis】哨兵(Sentinel)原理与实战全解~炒鸡简单啊
Redis 的哨兵模式(Sentinel)是一种用于实现高可用性的机制。它通过监控主节点和从节点,并在主节点故障时自动进行切换,确保集群持续提供服务。哨兵模式包括主节点、从节点和哨兵实例,具备监控、通知、自动故障转移等功能,能显著提高系统的稳定性和可靠性。本文详细介绍了哨兵模式的组成、功能、工作机制以及其优势和局限性,并提供了单实例的安装和配置步骤,包括系统优化、安装、配置、启停管理和性能监控等。此外,还介绍了如何配置主从复制和哨兵,确保在故障时能够自动切换并恢复服务。
|
3月前
|
NoSQL 网络协议 Linux
【AKS+Redis】AKS中客户端(ioredis)遇见Azure Redis服务Failover后链接中断的可能性
【AKS+Redis】AKS中客户端(ioredis)遇见Azure Redis服务Failover后链接中断的可能性
|
3月前
|
SQL 缓存 NoSQL
【Azure Redis 缓存】使用Azure Redis服务时候,如突然遇见异常,遇见命令Timeout performing SET xxxxxx等情况,如何第一时间查看是否有Failover存在呢?
【Azure Redis 缓存】使用Azure Redis服务时候,如突然遇见异常,遇见命令Timeout performing SET xxxxxx等情况,如何第一时间查看是否有Failover存在呢?
|
4月前
|
监控 NoSQL Ubuntu
|
4月前
|
监控 算法 Java
高并发架构设计三大利器:缓存、限流和降级问题之配置Sentinel的流量控制规则问题如何解决
高并发架构设计三大利器:缓存、限流和降级问题之配置Sentinel的流量控制规则问题如何解决
下一篇
无影云桌面