redis sentinel 主从切换(failover)解决方案

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云原生内存数据库 Tair,内存型 2GB
云数据库 Redis 版,经济版 1GB 1个月
简介:

主 从复制简单来说就是把一台redis数据库中的数据同步到另一台redis数据库,并且按照数据流向,数据的发送者我们称作master,数据的接受者我 们称作slave(master/slave的划分并不是那么一定的,譬如B可以作为A的slave,但同时也可以作为C的master),下面就从 slave和master的角度分别说明主从复制流程。 

首先是slave端,对于slave端来说,主从复制主要经历四个阶段: 

第一阶段:与master建立连接 
第二阶段:向master发起同步请求(SYNC) 
第三阶段:接受master发来的RDB数据 
第四阶段:载入RDB文件 

下面我们就通过一个图来概述在每一个阶段中,slave究竟做了些什么: 



关于上图,有一点说明下:redis接收到slaveof master_host master_port命令后并没有马上与master建立连接,而是当执行服务器例行任务serverCron,发现自己正处于 REDIS_REPL_CONNECT状态,这时才真正的向maser发起连接,伪代码: 

Python代码  收藏代码

  1. def serverCron():  

  2.     # 服务器处于REDIS_REPL_CONNECT状态  

  3.     if redisServer.repl_state == REDIS_REPL_CONNECT:  

  4.         # 向master发起连接  

  5.         connectWithMaster()  

  6.     # 其他例行任务(省略)...  



接着我们来看下主从复制过程中,master这边的流程是如何,在具体看细节之前,我们先综合来看master这边主要做的几件事情: 

 

看完这个图,你也许会有以下几个疑问: 

1. 为什么在master发送完RDB文件后,还要定期的向slave发送PING命令? 
2. 在发送完RDB文件之后,master发送的“变更”命令又是什么,有什么用? 

在回答问题之前1,我们先回答问题2: 
master保存RDB文件是通过一个子进程进行的,所以master依然可以处理客户端请求而不被阻塞,但这也导致了在保存RDB文件期间,“键空间” 可能发生变化(譬如接收到一个客户端请求,执行"set name diaocow"命令),因此为了保证数据同步的一致性,master会在保存RDB文件期间,把接受到的这些可能变更数据库“键空间”的命令保存下来, 然后放到每个slave的回复列表中,当RDB文件发送完master会发送这些回复列表中的内容,并且在这之后,如果数据库发生变更,master依然 会把变更的命令追加到回复列表发送给slave,这样就可以保证master和slave数据的一致性!相关伪代码: 

Python代码  收藏代码

  1. def processCommand(cmd, argc, argv):  

  2.     # 处理命令  

  3.     call(cmd, argc, argv)  

  4.     # 如果该命令造成数据库键空间变化and当前redis是一个master,则同步变更命令  

  5.     if redisServer.update_key_space and len(redisServer.slaves) > 0:  

  6.         replicationFeedSlaves(cmd, argc, argv)  

  7.   

  8. def replicationFeedSlaves(cmd, argc, argv):   

  9.     # 把变更命令发送给每一个处于:REDIS_REPL_WAIT_BGSAVE_END状态的slave节点  

  10.     for slave in redisServer.slaves:  

  11.         if slave.replstate == REDIS_REPL_WAIT_BGSAVE_START:  

  12.             continue  

  13.         slave.updateNotify(cmd, argc, argv)  


由于在发送完RDB文件之后,master会不定时的给slave发送“变更”命令,可能过1s,也可能过1小时,所以为了防止slave无意义等待(譬 如master已经挂掉的情况),master需要定时发送“保活”命令PING,以此告诉slave:我还活着,不要中断与我的连接 

现在我们就看下,当master接受到slave发送的sync同步命令后究竟发生了哪些事: 


上图看似分支复杂,但我们抓住以下几点即可: 

1.保存RDB文件是在一个子进程中进行的; 
2.如果master已经在保存RDB文件,但是没有客户端正在等待这次BGSAVE,新添加的slave需要等到下次BGSAVE,而不能直接使用这次生成的RDB文件(原因图中已经说明) 
3.master会定期检查RDB文件是否保存完毕(时间事件serverCron); 

接下来我们看下,master是如何给每一个slave发送RDB文件的: 

 

好了,至此我们已经分析完在主从复制过程中,master和slave两边分别是怎么一个处理流程;最后,我绘制了一个图,综述了主从复制这一过程(我们可以边看图,边回忆其中的具体细节): 



PS:在主从复制过程中,任何一步发生错误,都会导致整个过程重头开始,所以若RDB文件很大又或是此时正处在业务高峰期,对系统性能将会有非常大的影响! 

总结: 
1. 了解主从复制master和slave的概念; 
2. 了解主从复制执行过程,特别是其中关键的几步; 
3. 了解目前主从复制过程中尚存的不足之处; 




oyhk 学习笔记

网站的访问量慢慢上来了。为了网站的性能方面,开始用了redis做缓存策略。刚开始的时候,redis是一个单点,当一台机器岩机的时候,redis的 服务完全停止,这时就会影响其他服务的正常运行。费话不多说了,下面利用redis sentinel做一个主从切换的集群管理。做这个集群管理的时候,查过很多资料才完全了解,他是怎么做的。

java 客户端请看:

http://blog.mkfree.com/posts/52b146e6479e5a64742fddd0

参考资料:http://redis.io/topics/sentinel 我也是看这篇文章。

环境配置:

由于我这次配置没有太多的机器,我用了vagrant 去开了多台虚拟机。然后搭好了环境。

redis的安装请参考:redis 简单官方脚本安装方法(linux)

集群配置最少需要三台机器,那么我就三台虚拟机,三台虚拟机分别安装同样的redis的环境

ip分别:

  • 192.168.9.17  (redis sentinel 集群监控)

  • 192.168.9.18  (redis 主)

  • 192.168.9.19  (redis 从)

redis配置:

主的redis配置文件,使用默认的配置文件就可以了,如果你需要设计其他参数

从的redis配置文件,添加

#从的redis配置文件,需要添加vim /etc/redis/6379.conf
slaveof 192.168.9.18 6379

启动主从redis

#启动主redis(192.168.9.18)/etc/init.d/redis_6379.conf start#启动从redis(192.168.9.19)/etc/init.d/redis_6379.conf start

查看主redis信息

#查看主redis的信息redis-cli -h 192.168.9.18 info Replication# Replicationrole:master #代表192.168.9.18:6379 这台redis是主connected_slaves:1slave0:192.168.9.18,6379,online

查看从redis信息

#查看主redis的信息redis-cli -h 192.168.9.19 info Replication# Replicationrole:slave #代表192.168.9.18:6379 这台redis是主master_host:192.168.9.18master_port:6379master_link_status:up
master_last_io_seconds_ago:4master_sync_in_progress:0slave_priority:100slave_read_only:1connected_slaves:0

配置redis sentinel集群监控服务

1.添加一份redis sentinel 配置文件

vim /etc/redis/sentinel.conf##redis-0##sentinel实例之间的通讯端口port 26379#master1
port 26379
sentinel monitor mymaster 192.168.1.211 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 900000
sentinel parallel-syncs mymaster 2

2.有配置文件了,那么启动redis sentinel做redis集群监听

redis-sentinel sentinel.conf --sentinel

好了,所有环境都搭好了。下面开始正式的演示

1.正常演示。

  • 主的redis启动

  • 把从的redis启动

  • 把redis sentinel 集群监听启动

观察redis sentinel 日志信息

这里很清楚地看到,从的redis加入了集群

[4925] 15 Oct 03:42:21.889 * +slave slave 192.168.9.19:6379 192.168.9.19 6379 @ master1 192.168.9.18 6379

执行以下命令,查看redis主从信息

[root@localhost vagrant]# redis-cli -h 192.168.9.17 -p 26379 info Sentinel# Sentinelsentinel_masters:1sentinel_tilt:0sentinel_running_scripts:0sentinel_scripts_queue_length:0master0:name=master1,status=ok,address=192.168.9.18:6379,slaves=1,sentinels=1

那么表示一切都正常了。你的redis sentinel集群已经配置成功!



2.故障演示


2.1当主的redis 服务器岩机了,会发生什么情况呢?

执行以下命令使用主的redis服务停止

redis-cli -h 192.168.9.18 -p 6379 shutdown #表示把192.168.9.18这台redis 关闭

关闭后,我们再查看redis sentinel 的日志情况


这张图片很清晰地反应到,redis sentinel 监控到主的redis服务停止,然后自动把从的redis切换到主。

再执行以下命令,查看redis主从信息

[root@localhost vagrant]# redis-cli -h 192.168.33.111 -p 26379 info Sentinel# Sentinelsentinel_masters:1sentinel_tilt:0sentinel_running_scripts:0sentinel_scripts_queue_length:0master0:name=master1,status=ok,address=192.168.9.19:6379,slaves=1,sentinels=1

把从已经升为主了。那么自动切换就已经成功了!


2.2 当我们已经发现,一台redis发生故障了,可能会收到一些故障信息,那么再把服务已关闭的redis恢复服务状态,会发生怎么样的情况呢?

redis sentinel 集群服务,会把上次主redis重新加入服务中,但是他再以不是主的redis了,变成从的reids。

哈.....完成了。。。下篇会写关于,客户端调用主从集群自动切换使用例子。我会以java为使用客户端.


本文转自 msj0905 51CTO博客,原文链接:http://blog.51cto.com/sky66/1696866


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
21天前
|
缓存 运维 NoSQL
Redis主从模式部署
Redis主从模式部署
37 4
|
21天前
|
运维 监控 NoSQL
Redis Sentinel哨兵模式部署
Redis Sentinel哨兵模式部署
49 2
|
12天前
|
缓存 NoSQL Redis
Redis主从架构
当看到图示中红色标记的,就代表从节点挂载成功了。
12 0
|
13天前
|
NoSQL Java 关系型数据库
考考你Redis主从,就知道有没深入Redis
大家好,我是南哥。一个对Java程序员进阶成长颇有研究的人,今天继续给大家带来新的一篇Java进阶指南。如果是单机版的数据库,像MySQL、Redis,看起来实现并不复杂。只要支持保存一条数据,同时要能够查询出来。但如果是多机版的数据库呢,各个节点的配合联调是比较复杂的过程,看起来就不是那么简单喽。要考你对Redis深不深入理解,问问Redis多机版相关的问题就知道了。我们今天就来指南下Redis主从架构。
考考你Redis主从,就知道有没深入Redis
|
5天前
|
NoSQL Redis 数据安全/隐私保护
redis 常见报错和解决方案
redis 常见报错和解决方案
8 1
|
19天前
|
存储 缓存 NoSQL
Redis是一种高性能的内存数据库,常用于高并发环境下的缓存解决方案
【6月更文挑战第18天】**Redis摘要:** 高性能内存数据库,擅长高并发缓存。数据存内存,访问迅速;支持字符串、列表等多元数据类型;具备持久化防止数据丢失;丰富命令集便于操作;通过节点集群实现数据分片与负载均衡,增强可用性和扩展性。理想的缓存解决方案。
31 1
|
5天前
|
NoSQL 网络协议 Linux
【AKS+Redis】AKS中客户端(ioredis)遇见Azure Redis服务Failover后链接中断的可能性
在AKS中,NodeJS应用使用ioredis连接Redis时,在Redis升级或故障转移时可能出现长时间无法恢复连接的问题。这可能由于TCP重连机制,默认可能等待13分钟。为解决此问题,可以调整Linux的TCP设置(如`net.ipv4.tcp_retries2`设为5),并利用ioredis的`retryStrategy`选项自定义重连策略,减少延迟。参考[ioredis文档](https://github.com/redis/ioredis?tab=readme-ov-file#auto-reconnect)以优化重连行为。
|
5天前
|
监控 NoSQL 安全
【亲测有效】connection refused报错 为什么redis 进程突然挂掉,频繁出现redis 进程突然挂掉情况解决方案
【亲测有效】connection refused报错 为什么redis 进程突然挂掉,频繁出现redis 进程突然挂掉情况解决方案
12 0
|
12天前
|
存储 监控 NoSQL
35个Redis企业级性能优化点与解决方案
Redis作为企业级应用中广泛使用的高性能键值存储数据库,其性能优化是一个复杂且多面的话题。以下是V 哥整理的一些关键的优化点和相应的解决方案,提供给兄弟们参考。
|
13天前
|
NoSQL Java 关系型数据库
非关系型数据库NoSQL数据层解决方案 之 redis springboot整合与读写操作 2024详解以及window版redis5.0.14下载
非关系型数据库NoSQL数据层解决方案 之 redis springboot整合与读写操作 2024详解以及window版redis5.0.14下载
15 0