Redis主从复制、哨兵、cluster集群原理+实验(好好等,会晚些,但会更好)(三)

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis主从复制、哨兵、cluster集群原理+实验(好好等,会晚些,但会更好)(三)

三、Redis 集群模式


集群,即Redis Cluster,是Redis3.0开始引入的分布式存储方案。


集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。


3.1 集群的作用

(1)数据分区:数据分区(或称数据分片)是集群最核心的功能。


集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。

Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。


(2)高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。


3.2 Redis集群的数据分片

Redis集群引入了哈希槽的概念


Redis集群有16384个哈希槽(编号0-16383)


集群的每个节点负责一部分哈希槽


每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作


以3个节点组成的集群为例


节点A包含0到5460号哈希槽

节点B包含5461到10922号哈希槽

节点c包含10923到16383号哈希槽


3.3 集群模式的主从复制模型

集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为主节点继续服务。当B和B1都失败后,集群将不可用。


3.4 搭建Redis集群

3.4.1 实验环境

6台机子,3主3从

服务器类型

名称和IP地址 需要安装的组件
master1 centos7-1 192.168.109.131 redis-5.0.7.tar.gz
slave1 centos7-4 192.168.109.135 redis-5.0.7.tar.gz
master2 centos7-2 192.168.109.132 redis-5.0.7.tar.gz
slave2 centos7-5 192.168.109.137 redis-5.0.7.tar.gz
master3 centos7-3 192.168.109.133 redis-5.0.7.tar.gz
slave2 centos7-7 192.168.109.134 redis-5.0.7.tar.gz

初始化环境

#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0


3.4.2 Redis部署

参照上篇博客3.1节


Redis配置与优化


3.4.3 开启集群功能

修改任意一台服务器配置文件,再通过scp命令传给其他主机


cd /opt/redis-5.0.7/
vim redis.conf
bind 192.168.109.131                      #69行,注释掉bind项,改为自己
protected-mode no                         #88行,修改,关闭保护模式
port 6379                                 #92行redis默认监听端口,
daemonize yes                             #136行,开启守护进程,以独立进程启动
appendonly yes                            #700行,修改,开启AOF持久化
cluster-enabled yes                       #832行,取消注释,开启群集功能
cluster-config-file nodes-6379.conf       #840行,取消注释,群集名称文件设置
cluster-node-timeout 15000                #846行,取消注释群集超时时间设置
#远程传输完要修改监听地址为自己
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.132:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.133:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.134:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.135:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.137:`pwd`







修改其他节点给服务器配置文件监控地址





所有节点启动redis

cd /opt/redis-5.0.7/
redis-server redis.conf   #启动redis节点


启动集群

redis-cli --cluster create 192.168.109.131:6379 192.168.109.132:6379 192.168.109.133:6379 192.168.109.134:6379 192.168.109.135:6379 192.168.109.137:6379 --cluster-replicas 1
#六个主机分为三组,三主三从,前面的做主节点后面的做从节点下面交互的时候需要输入yes才可以创建 --replicas 1表示每个主节点有一个从节点
#前三台为Master,后三台为Slave



3.4.4 测试集群

#加-c参数,节点之间就可以互相跳转  
redis-cli -h 192.168.109.131 -p 6379 -c 
 #查看节点的哈希槽编号范围
 cluster slots    
 #赋值
 set name stevelu
#查看键的槽编号  
cluster keyslot hobby
[root@localhost redis-5.0.7]# redis-cli -h 192.168.109.131 -p 6379 -c
192.168.109.131:6379>  cluster slots
1) 1) (integer) 10923
   2) (integer) 16383
   3) 1) "192.168.109.133"
      2) (integer) 6379
      3) "0dbd7b7c8d5e283c84bf6a4cf18623d8203bff38"
   4) 1) "192.168.109.134"
      2) (integer) 6379
      3) "e88d26685eb7631316cf614887758b7b383cd403"
2) 1) (integer) 5461
   2) (integer) 10922
   3) 1) "192.168.109.132"
      2) (integer) 6379
      3) "bb538c1eb454842bb7366c0989d992465a850d98"
   4) 1) "192.168.109.137"
      2) (integer) 6379
      3) "457bc85b8540205f1f149380c6ad50089efe851e"
3) 1) (integer) 0
   2) (integer) 5460
   3) 1) "192.168.109.131"
      2) (integer) 6379
      3) "157ae2ca611029844692588038571c32f52a7c31"
   4) 1) "192.168.109.135"
      2) (integer) 6379
      3) "7e2d7753764a866e7346b2f3c3a910044a79c017"
192.168.109.131:6379>


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3天前
|
存储 监控 负载均衡
redis 集群 (主从复制 哨兵模式 cluster)
redis 集群 (主从复制 哨兵模式 cluster)
|
19天前
|
负载均衡 监控 NoSQL
Redis的几种主要集群方案
【5月更文挑战第15天】Redis集群方案包括主从复制(基础,读写分离,手动故障恢复)、哨兵模式(自动高可用,自动故障转移)和Redis Cluster(官方分布式解决方案,自动分片、容错和扩展)。此外,还有Codis、Redisson和Twemproxy等工具用于代理分片和负载均衡。选择方案需考虑应用场景、数据量和并发需求,权衡可用性、性能和扩展性。
196 2
|
3天前
|
存储 负载均衡 监控
redis 集群模式(redis cluster)介绍
redis 集群模式(redis cluster)介绍
|
8月前
|
存储 NoSQL 网络安全
Redis安装(单机、主从、哨兵、集群)
Redis安装(单机、主从、哨兵、集群)
137 1
|
19天前
|
缓存 NoSQL 应用服务中间件
分布式缓存之Redis(持久化、主从、哨兵、分片集群)
分布式缓存之Redis(持久化、主从、哨兵、分片集群)
|
11月前
|
存储 负载均衡 监控
Redis极简入门-Redis集群搭建-主从-哨兵-Cluster集群
Redis为什么做集群 采用Redis集群方案解决单点故障问题 对于高并发读写请求,采用集群方案提升Redis作业能力 处理大量数据,多个Redis节点实现数据的分布式存储
73 0
|
11月前
|
监控 NoSQL Redis
Redis主从、哨兵、 Cluster集群一锅端! 1
Redis主从、哨兵、 Cluster集群一锅端!
|
存储 消息中间件 缓存
Redis 7 事务、管道、发布订阅、主从、哨兵、集群
Redis 7 事务、管道、发布订阅、主从、哨兵、集群
|
存储 NoSQL 网络安全
Redis安装(单机、主从、哨兵、集群)
Redis安装(单机、主从、哨兵、集群)
231 0
Redis安装(单机、主从、哨兵、集群)
|
存储 缓存 监控
Redis单机、主从、哨兵、集群演进之路
Redis架构演进 1.为什么需要主从 2.为什么需要哨兵 3.有了主从又有了哨兵,为什么有需要分片集群呢?
221 0