Redis主从复制、哨兵、cluster集群原理+实验(好好等,会晚些,但会更好)(三)

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis主从复制、哨兵、cluster集群原理+实验(好好等,会晚些,但会更好)(三)

三、Redis 集群模式


集群,即Redis Cluster,是Redis3.0开始引入的分布式存储方案。


集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。


3.1 集群的作用

(1)数据分区:数据分区(或称数据分片)是集群最核心的功能。


集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。

Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。


(2)高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。


3.2 Redis集群的数据分片

Redis集群引入了哈希槽的概念


Redis集群有16384个哈希槽(编号0-16383)


集群的每个节点负责一部分哈希槽


每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作


以3个节点组成的集群为例


节点A包含0到5460号哈希槽

节点B包含5461到10922号哈希槽

节点c包含10923到16383号哈希槽


3.3 集群模式的主从复制模型

集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为主节点继续服务。当B和B1都失败后,集群将不可用。


3.4 搭建Redis集群

3.4.1 实验环境

6台机子,3主3从

服务器类型

名称和IP地址 需要安装的组件
master1 centos7-1 192.168.109.131 redis-5.0.7.tar.gz
slave1 centos7-4 192.168.109.135 redis-5.0.7.tar.gz
master2 centos7-2 192.168.109.132 redis-5.0.7.tar.gz
slave2 centos7-5 192.168.109.137 redis-5.0.7.tar.gz
master3 centos7-3 192.168.109.133 redis-5.0.7.tar.gz
slave2 centos7-7 192.168.109.134 redis-5.0.7.tar.gz

初始化环境

#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0


3.4.2 Redis部署

参照上篇博客3.1节


Redis配置与优化


3.4.3 开启集群功能

修改任意一台服务器配置文件,再通过scp命令传给其他主机


cd /opt/redis-5.0.7/
vim redis.conf
bind 192.168.109.131                      #69行,注释掉bind项,改为自己
protected-mode no                         #88行,修改,关闭保护模式
port 6379                                 #92行redis默认监听端口,
daemonize yes                             #136行,开启守护进程,以独立进程启动
appendonly yes                            #700行,修改,开启AOF持久化
cluster-enabled yes                       #832行,取消注释,开启群集功能
cluster-config-file nodes-6379.conf       #840行,取消注释,群集名称文件设置
cluster-node-timeout 15000                #846行,取消注释群集超时时间设置
#远程传输完要修改监听地址为自己
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.132:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.133:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.134:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.135:`pwd`
[root@localhost redis-5.0.7]# scp redis.conf 192.168.109.137:`pwd`







修改其他节点给服务器配置文件监控地址





所有节点启动redis

cd /opt/redis-5.0.7/
redis-server redis.conf   #启动redis节点


启动集群

redis-cli --cluster create 192.168.109.131:6379 192.168.109.132:6379 192.168.109.133:6379 192.168.109.134:6379 192.168.109.135:6379 192.168.109.137:6379 --cluster-replicas 1
#六个主机分为三组,三主三从,前面的做主节点后面的做从节点下面交互的时候需要输入yes才可以创建 --replicas 1表示每个主节点有一个从节点
#前三台为Master,后三台为Slave



3.4.4 测试集群

#加-c参数,节点之间就可以互相跳转  
redis-cli -h 192.168.109.131 -p 6379 -c 
 #查看节点的哈希槽编号范围
 cluster slots    
 #赋值
 set name stevelu
#查看键的槽编号  
cluster keyslot hobby
[root@localhost redis-5.0.7]# redis-cli -h 192.168.109.131 -p 6379 -c
192.168.109.131:6379>  cluster slots
1) 1) (integer) 10923
   2) (integer) 16383
   3) 1) "192.168.109.133"
      2) (integer) 6379
      3) "0dbd7b7c8d5e283c84bf6a4cf18623d8203bff38"
   4) 1) "192.168.109.134"
      2) (integer) 6379
      3) "e88d26685eb7631316cf614887758b7b383cd403"
2) 1) (integer) 5461
   2) (integer) 10922
   3) 1) "192.168.109.132"
      2) (integer) 6379
      3) "bb538c1eb454842bb7366c0989d992465a850d98"
   4) 1) "192.168.109.137"
      2) (integer) 6379
      3) "457bc85b8540205f1f149380c6ad50089efe851e"
3) 1) (integer) 0
   2) (integer) 5460
   3) 1) "192.168.109.131"
      2) (integer) 6379
      3) "157ae2ca611029844692588038571c32f52a7c31"
   4) 1) "192.168.109.135"
      2) (integer) 6379
      3) "7e2d7753764a866e7346b2f3c3a910044a79c017"
192.168.109.131:6379>


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
21天前
|
NoSQL 关系型数据库 Redis
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
82 14
|
1月前
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
59 5
|
4月前
|
缓存 NoSQL Linux
redis的原理(三)
redis的原理(三)
redis的原理(三)
|
3月前
|
监控 NoSQL 算法
Redis Sentinel(哨兵)详解
Redis Sentinel(哨兵)详解
213 4
|
3月前
|
存储 NoSQL 大数据
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
56 3
|
3月前
|
设计模式 NoSQL 网络协议
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
53 2
|
3月前
|
存储 缓存 NoSQL
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
85 1
|
3月前
|
NoSQL 关系型数据库 MySQL
Redis 事务特性、原理、具体命令操作全方位诠释 —— 零基础可学习
本文全面阐述了Redis事务的特性、原理、具体命令操作,指出Redis事务具有原子性但不保证一致性、持久性和隔离性,并解释了Redis事务的适用场景和WATCH命令的乐观锁机制。
513 0
Redis 事务特性、原理、具体命令操作全方位诠释 —— 零基础可学习
|
4月前
|
存储 缓存 NoSQL
redis的原理(四)
redis的原理(四)
|
3月前
|
消息中间件 NoSQL Kafka
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
252 0