Redis主从与哨兵

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis主从与哨兵

主从架构

image.png

Redis主从工作原理

  • 1.如果你为master配置了一个slave,不管这个slave是否是第一次连接上Master,它都会发送一个PSYNC命令给master请求复制数据
  • 2.master收到PSYNC命令后,会在后台进行数据持久化,通过bgsave生成最新的rdb快照文件,持久化期间,master会继续接收客户端的请求,它会把这些可能修改的数据集的请求缓存在内存中
  • 3.当持久化进行完毕以后,master会把这份rdb文件数据集发送给slave,slave会把接收到的数据进行持久化生成rdb,然后再加载到内存中。
  • 4.然后,master再将之前缓存在内存中的命令发送给slave。
  • 5.当master与slave之间的连接由于某些原因而断开时,slave能够自动重连Master。
  • 6.如果master收到了多个slave并发连接请求,它只会进行一次持久化,而不是一个连接一次,然后再把这一份持久化的数据发送给多个并发连接的slave。

主从复制(全量复制)流程图image.png数据部分复制

  • 1.当master和slave断开重连后,一般都会对整份数据进行复制。
  • 2.但从redis2.8版本开始,redis改用可以支持部分数据复制的命令PSYNC去master同步数据,slave与master能够在网络连接断开重连后只进行部分数据复制(断点续传)。 master会在其内存中创建一个复制数据用的缓存队列,缓存最近一段时间的数据(默认大小为1M,通过repl-backlog-size 1mb参数设置),master和它所有的slave都维护了复制的数据下标offset和master的进程id,因此,当网络连接断开后,slave会请求master 继续进行未完成的复制,从所记录的数据下标开始。
  • 3.如果master进程id变化了,或者从节点数据下标 offset太旧,已经不在master的缓存队列里了,那么将会进行一次全量数据的复制。

主从复制(部分复制,断点续传)流程图image.png

主从架构搭建

redis-6379.conf为master配置文件,redis-6380.conf和redis-6381.conf为slave配置文件。

[root@redis redis]# ls
6379.conf  6380.conf  6381.conf

编辑配置文件

redis-6379.conf

修改以下配置文件:

port 6379  #监听端口号
bind 0.0.0.0  #监听本机所有IP
pidfile /var/run/redis_6379.pid   #把pid进程号写入pidfile配置的文件
logfile /var/log/redis_6379.log  #log文件
dir /var/lib/redis/6379   #数据存放目录
redis-6380.conf

修改以下配置文件:

port 6380  #监听端口号
bind 0.0.0.0  #监听本机所有IP
pidfile /var/run/redis_6380.pid   #把pid进程号写入pidfile配置的文件
logfile /var/log/redis_6380.log  #log文件
dir /var/lib/redis/6380   #数据存放目录
#配置主从复制
replicaof 192.168.1.151 6379 #从本机6379的redis实例复制数据,Redis5.0之前使用slaveof
replica‐read‐only yes # 配置从节点只读
redis-6381.conf

修改以下配置文件:

port 6381  #监听端口号
bind 0.0.0.0  #监听本机所有IP
pidfile /var/run/redis_6381.pid   #把pid进程号写入pidfile配置的文件
logfile /var/log/redis_6381.log  #log文件
dir /var/lib/redis/6381   #数据存放目录
#配置主从复制
replicaof 192.168.1.151 6379 #从本机6379的redis实例复制数据,Redis5.0之前使用slaveof
replica‐read‐only yes # 配置从节点只读

启动服务

#创建数据存放目录
mkdir -p /var/lib/redis/6379
mkdir -p /var/lib/redis/6380
mkdir -p /var/lib/redis/6381
#启动服务
redis-server 6379.conf
redis-server 6380.conf
redis-server 6381.conf

验证

在主节点写数据从节点可以同步收到:

[root@redis redis]# redis-cli 
127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> set k1 1
OK
127.0.0.1:6379> keys *
1) "k1"
127.0.0.1:6379>

在从节点查看:

[root@redis redis]# redis-cli -p 6380
127.0.0.1:6380> keys *
1) "k1"
127.0.0.1:6380>

在redis节点上可以通过info命令查看主从相关信息:

# Replication
role:master
connected_slaves:2
slave0:ip=192.168.1.151,port=6381,state=online,offset=25289,lag=1
slave1:ip=192.168.1.151,port=6380,state=online,offset=25146,lag=1
master_replid:59012e124083d4fe7a8cc1280644ee12a040b78c
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:25289
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:25289

哨兵高可用架构image.png

  • 1.sentinel哨兵是特殊的redis服务,不提供读写服务,主要用来监控redis实例节点。
  • 2.哨兵架构下client端第一次从哨兵找出redis的主节点,后续就直接访问redis的主节点,不会每次都通过 sentinel代理访问redis的主节点
  • 3.当redis的主节点发生变化,哨兵会第一时间感知到,并且将新的redis 主节点通知给client端(这里面redis的client端一般都实现了订阅功能,订阅sentinel发布的节点变动消息)

哨兵高可用配置

编辑配置文件

sentinel-26380.conf,sentinel-26381.conf和sentinel-26379.conf除了对应的数字不一样以外,其余都一样。

port 26379
daemonize yes
pidfile "/var/run/redis_sentinel_26379.pid"
logfile "/var/log/redis_sentinel_26379.log"
dir "/var/lib/redis/26379"
#最后的2是quorum,指明当有多少个sentinel认为一个master失效时(值一般为:sentinel总数/2+1),master才算真正失效
#cr7-master是自己定义的名字,当客户端访问的时候会用到
sentinel monitor cr7-master 192.168.1.151 6380 2

启动哨兵

#创建存放数据的目录
mkdir -p /var/lib/redis/26379
mkdir -p /var/lib/redis/26380
mkdir -p /var/lib/redis/26381
#启动服务
redis-sentinel sentinel-26370.conf
redis-sentinel sentinel-26380.conf
redis-sentinel sentinel-26381.conf

验证

sentinel集群都启动完毕后,会将哨兵集群的元数据信息写入所有sentinel的配置文件里去(追加在文件的最下面),我们查看下如下配置文件sentinel-26379.conf,如下所示:

root@redis redis]# cat sentinel-26379.conf 
port 26379
daemonize yes
pidfile "/var/run/redis_sentinel_26379.pid"
logfile "/var/log/redis_sentinel_26379.log"
dir "/var/lib/redis/26379"
sentinel myid aca7762f80007c4c4a3d099709789de34359b1d0
# 自动追加生成的内容
# Generated by CONFIG REWRITE
protected-mode no
sentinel deny-scripts-reconfig yes
sentinel monitor cr7-master 192.168.1.151 6379 2
sentinel config-epoch cr7-master 0
sentinel leader-epoch cr7-master 0
sentinel known-replica cr7-master 192.168.1.151 6380
sentinel known-replica cr7-master 192.168.1.151 6381
sentinel known-sentinel cr7-master 192.168.1.151 26381 1832c331b2a60998d1e8440d3b8445c1259607f9
sentinel known-sentinel cr7-master 192.168.1.151 26380 5c9ab6fb2232879cd64def3efbb460ca6415e37b
sentinel current-epoch 0

连接redis-sentinel,通过info命令查看sentinel信息:

# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=cr7-master,status=ok,address=192.168.1.151:6379,slaves=2,sentinels=3

当redis主节点如果挂了,哨兵集群会重新选举出新的redis主节点,同时会修改所有sentinel节点配置文件的集群元数据信息,比如6379的redis如果挂了,假设选举出的新主节点是6380,则sentinel文件里的集群元数据信息会变成如下所示:

[root@redis redis]# cat sentinel-26380.conf 
port 26380
daemonize yes
pidfile "/var/run/redis_sentinel_26380.pid"
logfile "/var/log/redis_sentinel_26380.log"
dir "/var/lib/redis/26380"
sentinel myid 5c9ab6fb2232879cd64def3efbb460ca6415e37b
# Generated by CONFIG REWRITE
protected-mode no
sentinel deny-scripts-reconfig yes
sentinel monitor cr7-master 192.168.1.151 6380 2  #选举出来的新的主节点
sentinel config-epoch cr7-master 1
sentinel leader-epoch cr7-master 1
sentinel known-replica cr7-master 192.168.1.151 6379
sentinel known-replica cr7-master 192.168.1.151 6381
sentinel known-sentinel cr7-master 192.168.1.151 26381 1832c331b2a60998d1e8440d3b8445c1259607f9
sentinel known-sentinel cr7-master 192.168.1.151 26379 aca7762f80007c4c4a3d099709789de34359b1d0
sentinel current-epoch 1

并且客户端可以正常写入数据:

[root@redis redis]# redis-cli -p 6380
127.0.0.1:6380> keys *
1) "k1"
127.0.0.1:6380> set k2 2
OK
127.0.0.1:6380>

当6379的redis实例再次启动时,哨兵集群根据集群元数据信息就可以将6379端口的redis节点作为从节点加入集群,会修改redis-6379.conf的配置,增加:

replicaof 192.168.1.151 6380
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
NoSQL 算法 安全
Redlock 算法-主从redis分布式锁主节点宕机锁丢失的问题
Redlock 算法-主从redis分布式锁主节点宕机锁丢失的问题
153 0
|
1月前
|
NoSQL Redis Sentinel
【怒怼大厂面试官】听说你精通Redis?说说Redis哨兵
面试官:Redis哨兵知道吧?知道的,Sentinel哨兵本质是一个运行在特殊模式下的Redis服务器。面试官:嗯然后呢?它的主要作用是通过检测Redis主从服务器的下线状态,选举出新Redis主服务器,也就是故障转移,来保证Redis的高可用性。
77 4
【怒怼大厂面试官】听说你精通Redis?说说Redis哨兵
|
3月前
|
存储 监控 NoSQL
Redis 高可用之主从模式
上一节RDB和AOF持久化机制提到了 Redis 的持久性,也就是在服务器实例宕机或故障时,拥有再恢复的能力。但是在这个服务器实例宕机恢复期间,是无法接受新的数据请求。对于整体服务而言这是无法容忍的,因此我们可以使用多个服务器实例,在一个实例宕机中断时,另外的服务器实例可以继续对外提供服务,从而不中断业务。Redis 是如何做的呢?Redis 做法是**增加冗余副本**,**将一份数据同时保存在多个实例**上。那么如何保存各个实例之间的数据一致性呢?
45 0
Redis 高可用之主从模式
|
4月前
|
NoSQL Java Redis
SpringBoot2.0整合Redis高可用之Sentinel哨兵
本篇博文分享的是一主二从三哨兵模式。至于为什么用三个哨兵,同第一段。本文是模拟环境,都是一个服务器上面。
68 0
|
1月前
|
存储 监控 NoSQL
Redis 架构深入:主从复制、哨兵到集群
大家好,我是小康,今天我们来聊下 Redis 的几种架构模式,包括主从复制、哨兵和集群模式。
Redis 架构深入:主从复制、哨兵到集群
|
1月前
|
运维 负载均衡 NoSQL
【大厂面试官】知道Redis集群和Redis主从有什么区别吗
集群节点之间的故障检测和Redis主从中的哨兵检测很类似,都是通过PING消息来检测的。。。面试官抓抓脑袋,继续看你的简历…得想想考点你不懂的😰。
67 1
|
2月前
|
NoSQL Redis Docker
关于redis的一主三从三哨兵的实现
关于redis的一主三从三哨兵的实现
27 0
|
3月前
|
监控 NoSQL 程序员
Redis 高可用篇:你管这叫 Sentinel 哨兵集群原理
Redis 高可用篇:你管这叫 Sentinel 哨兵集群原理
77 5
|
3月前
|
NoSQL Linux Redis
Redis 6.X Sentinel 哨兵集群搭建
Redis 6.X Sentinel 哨兵集群搭建
32 5
|
3月前
|
存储 负载均衡 NoSQL
Redis 高可用篇:你管这叫主从架构数据同步原理?
Redis 高可用篇:你管这叫主从架构数据同步原理?
241 5