Redis主从复制、哨兵、cluster集群原理+实验(好好等,会晚些,但会更好)(三)

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis主从复制、哨兵、cluster集群原理+实验(好好等,会晚些,但会更好)(三)

三、Redis 集群模式


集群,即Redis Cluster,是Redis3.0开始引入的分布式存储方案。


集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。


3.1 集群的作用

(1)数据分区:数据分区(或称数据分片)是集群最核心的功能。


集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。

Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。


(2)高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。


3.2 Redis集群的数据分片

Redis集群引入了哈希槽的概念


Redis集群有16384个哈希槽(编号0-16383)


集群的每个节点负责一部分哈希槽


每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作


以3个节点组成的集群为例


节点A包含0到5460号哈希槽

节点B包含5461到10922号哈希槽

节点c包含10923到16383号哈希槽


3.3 集群模式的主从复制模型

集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为主节点继续服务。当B和B1都失败后,集群将不可用。


3.4 搭建Redis集群

3.4.1 实验环境

6台机子,3主3从

服务器类型

名称和IP地址 需要安装的组件
master1 centos7-1 192.168.109.131 redis-5.0.7.tar.gz
slave1 centos7-4 192.168.109.135 redis-5.0.7.tar.gz
master2 centos7-2 192.168.109.132 redis-5.0.7.tar.gz
slave2 centos7-5 192.168.109.137 redis-5.0.7.tar.gz
master3 centos7-3 192.168.109.133 redis-5.0.7.tar.gz
slave2 centos7-7 192.168.109.134 redis-5.0.7.tar.gz

初始化环境

#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0


3.4.2 Redis部署

参照上篇博客3.1节


Redis配置与优化


3.4.3 开启集群功能

修改任意一台服务器配置文件,再通过scp命令传给其他主机


cd /opt/redis-5.0.7/
vim redis.conf
bind 192.168.109.131                      #69行,注释掉bind项,改为自己
protected-mode no                         #88行,修改,关闭保护模式
port 6379                                 #92行redis默认监听端口,
daemonize yes                             #136行,开启守护进程,以独立进程启动
appendonly yes                            #700行,修改,开启AOF持久化
cluster-enabled yes                       #832行,取消注释,开启群集功能
cluster-config-file nodes-6379.conf       #840行,取消注释,群集名称文件设置
cluster-node-timeout 15000                #846行,取消注释群集超时时间设置
#远程传输完要修改监听地址为自己
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.132:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.133:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.134:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.135:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.137:`pwd`







修改其他节点给服务器配置文件监控地址





所有节点启动redis

cd /opt/redis-5.0.7/
redis-server redis.conf   #启动redis节点


启动集群

redis-cli --cluster create 192.168.109.131:6379 192.168.109.132:6379 192.168.109.133:6379 192.168.109.134:6379 192.168.109.135:6379 192.168.109.137:6379 --cluster-replicas 1
#六个主机分为三组,三主三从,前面的做主节点后面的做从节点下面交互的时候需要输入yes才可以创建 --replicas 1表示每个主节点有一个从节点
#前三台为Master,后三台为Slave



3.4.4 测试集群

#加-c参数,节点之间就可以互相跳转  
redis-cli -h 192.168.109.131 -p 6379 -c 
 #查看节点的哈希槽编号范围
 cluster slots    
 #赋值
 set name stevelu
#查看键的槽编号  
cluster keyslot hobby
[root@localhost redis-5.0.7]# redis-cli -h 192.168.109.131 -p 6379 -c
192.168.109.131:6379>  cluster slots
1) 1) (integer) 10923
   2) (integer) 16383
   3) 1) "192.168.109.133"
      2) (integer) 6379
      3) "0dbd7b7c8d5e283c84bf6a4cf18623d8203bff38"
   4) 1) "192.168.109.134"
      2) (integer) 6379
      3) "e88d26685eb7631316cf614887758b7b383cd403"
2) 1) (integer) 5461
   2) (integer) 10922
   3) 1) "192.168.109.132"
      2) (integer) 6379
      3) "bb538c1eb454842bb7366c0989d992465a850d98"
   4) 1) "192.168.109.137"
      2) (integer) 6379
      3) "457bc85b8540205f1f149380c6ad50089efe851e"
3) 1) (integer) 0
   2) (integer) 5460
   3) 1) "192.168.109.131"
      2) (integer) 6379
      3) "157ae2ca611029844692588038571c32f52a7c31"
   4) 1) "192.168.109.135"
      2) (integer) 6379
      3) "7e2d7753764a866e7346b2f3c3a910044a79c017"
192.168.109.131:6379>


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
4月前
|
监控 NoSQL Redis
看完这篇就能弄懂Redis的集群的原理了
看完这篇就能弄懂Redis的集群的原理了
141 0
|
2月前
|
存储 NoSQL 大数据
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
35 3
|
3月前
|
NoSQL 网络协议 Redis
Redis的主从复制和哨兵模式
本文详细介绍了Redis的主从复制配置、原理(包括全量复制和增量复制)以及如何搭建一主二从的Redis集群,同时还探讨了Redis哨兵模式的概念、配置文件、以及如何配置一主二从三哨兵的Redis哨兵模式,以实现高可用性。
|
4月前
|
缓存 NoSQL 网络协议
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
|
4月前
|
缓存 NoSQL Redis
【Azure Redis 缓存】Windows版创建 Redis Cluster 实验 (精简版)
【Azure Redis 缓存】Windows版创建 Redis Cluster 实验 (精简版)
|
4月前
|
NoSQL Redis
Redis——单机迁移cluster集群如何快速迁移
Redis——单机迁移cluster集群如何快速迁移
139 0
|
NoSQL Redis 数据库
Redis 主从复制的核心原理
Redis 主从复制的核心原理
49 0
|
4月前
|
消息中间件 存储 缓存
深入理解Redis集群主从复制原理
该文章主要探讨了Redis集群中的主从复制原理,包括为何需要主从复制、配置方法、复制流程以及一些高级特性。
深入理解Redis集群主从复制原理
|
5月前
|
NoSQL Redis
Redis 主从复制架构配置及原理
Redis 主从复制架构配置及原理
68 5
|
7月前
|
负载均衡 NoSQL 关系型数据库
深入浅出Redis(六):Redis的主从架构与主从复制原理
深入浅出Redis(六):Redis的主从架构与主从复制原理