小白带你学习linux的Redis3.2集群(三十三)

简介: 小白带你学习linux的Redis3.2集群(三十三)



一、Redis主从复制

1、概念

是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。

2、作用

数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。

故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。

负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。

高可用:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redi高可用的基础。

3、缺点

故障恢复无法自动化;

写操作无法负载均衡;

存储能力受到单机的限制。

4、流程

第一步:若启动一个Slave机器进程,则它会向Master机器发送一个“sync command”命令,请求同步连接。

第二步:无论是第一次连接还是重新连接,Master机器都会启动一个后台进程,将数据快照保存到数据文件中(执行rdb操作),同时Master还会记录修改数据的所有命令并缓存在数据文件中。

第三步:后台进程完成缓存操作之后,Maste机器就会向Slave机器发送数据文件,Slave端机器将数据文件保存到硬盘上,然后将其加载到内存中,接着Master机器就会将修改数据的所有操作一并发送给Slave端机器。若Slave出现故障导致宕机,则恢复正常后会自动重新连接。

第四步:Master机器收到Slave端机器的连接后,将其完整的数据文件发送给Slave端机器,如果Mater同时收到多个Slave发来的同步请求,则Master会在后台启动一个进程以保存数据文件,然后将其发送给所有的Slave端机器,确保所有的Slave端机器都正常。

5、搭建

复制redis配置文件,原文件不进行修改     主文件redis_6379.conf    从文件 redis_6380.conf

主(192.168.115.160)

修改配置文件

vim /opt/redis_6379.conf

vim /etc/redis.conf

bind  0.0.0.0

port  6379

protected-mode = no

daemonize = yes

然后重启服务

在一台主机上实现

vim /opt/redis_6380.conf

vim /opt/redis_6380.conf

修改配置文件

bind  0.0.0.0

port  6380

protected-mode = no

daemonize = yes

slaveof 192.168.28.128 6379

cp /etc/redis.conf /opt/redis_6379.conf
cp /etc/redis.conf /opt/redis_6380.conf
vim /opt/redis_6379.conf 
vim /opt/redis_6380.conf 
redis-server /opt/redis_6379.conf 
redis-server /opt/redis_6380.conf 
netstat -anptu | grep redis

在这里我们的主从复制就配置完成了

6、验证

使用redis-cli命令行登录redis服务器,输入role指令查看状态

在master节点上,录入数据,在slave节点上查看到对应数据即可

redis-cli -p 6379

在另一个端口上查看

如果想复制多份端口的话需要以下操作

每台服务器需要一下操作

cp redis_6380.conf redis_6381.conf  
cp redis_6380.conf redis_6382.conf 
cp redis_6380.conf redis_6383.conf 
vim redis_6381.conf 
vim redis_6382.conf 
vim redis_6383.conf

for i in 1 2 3;do redis-server /opt/redis_638${i}.conf;done

for i in 1 2 3;do redis-server /opt/redis_638${i}.conf;done
netstat -anptu |grep redis

验证一下

二、Reids哨兵模式

1、概念

是一个分布式系统,用于对主从结构中的每台服务器进行监控,当出现故障时通过投票机制选择新的 Master 并将所有 Slave 连接到新的 Master。所以整个运行哨兵的集群的数量不得少于3个节点。

依托于主从模式

2、作用

监控:哨兵会不断地检查主节点和从节点是否运作正常。

自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其他从节点改为复制新的主节点。

通知(提醒):哨兵可以将故障转移的结果发送给客户端。

3、缺点

写操作无法负载均衡

存储能力受到单机的限制

哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作。

4、结构

哨兵节点:哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的redis节点,不存储数据。

数据节点:主节点和从节点都是数据节点。

5、搭建

复制哨兵文件         分别监听主从        (一主二从即可)

修改服务配置文件 一主二从分别为  redis_6379.conf   redis_6380.conf  redis _6381.conf

port 26379

sentinel monitor mymaster 192.168.115.160 6379 2

vim /etc/redis-sentinel.conf

cp /etc/redis-sentinel.conf /opt/redis-sentinel_6379.conf
cp /etc/redis-sentinel.conf  /opt/redis-sentinel_6380.conf
cp /etc/redis-sentinel.conf /opt/redis-sentinel_6381.conf
vim redis-sentinel_6379.conf 
vim redis-sentinel_6380.conf 
vim redis-sentinel_6381.conf

6379的配置文件

80

81

启动         redis-sentinel  配置文件路径

启动服务  并查看
redis-sentinel redis-sentinel_6379.conf 
redis-sentinel redis-sentinel_6380.conf 
redis-sentinel redis-sentinel_6381.conf 
netstat -anptu |grep redis

6、验证

先查看哨兵日志
cat /var/log/redis/sentinel.log

停止master后,slave会通过选举产生新的master

换了一个新的哨兵,(停止主服务器)查看是否生成新的主服务器

 主服务器从端口6379变为6380

如果此时将原来的master6379上线,6381还会是master吗?

答案是不会

哨兵配置文件会自动修改监听的master节点地址为新的master节点地址

三、Redis集群

1、概述

Redis3.0版本以上开始支持cluster,采用的是hashslot(hash槽),可以将多个Redis实例整合在一起,形成一个群集,也就是将数据分散到群集的多台机器上。

2、原理

Redis Cluster是一个无中心的结构,每个节点都保存数据和整个群集的状态。每个节点都会保存其他节点的信息,知道其他节点所负责的槽,并且会与其他节点定时发送心跳信息,能够及时感知群集中异常的节点。

3、架构细节

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。

(2)节点的失效(fail)在群集中超过半数的主(master)节点检测失效时才生效。

(3)客户端与 redis 节点直连,不需要中间代理(proxy)层,客户端不需要连接群集所有节点,连接群集中任何一个可用节点即可。

(4)redis-cluster 把所有的物理节点映射到【0-16383】slot 上,cluster 负责维护 node<->slot<->key。

4、选举过程

选举过程是群集中所有master参与,如果半数以上master节点与当前 master 节点通信超(cluster—node—timeout),认为当前 master 节点挂掉。以下两种情况为整个群集不可(cluster_state:fail),当群集不可用时,所有对群集的操作都不可用,收到((error)CLUSTEFDOWN The cluster is down)错误。

如果群集任意 master挂掉,且当前 master 没有 slave,则群集进入 fail状态,也可以理解成群集的slot映射【0 ~16383】不完整时进入fail状态。

如果群集中超过半数的master挂掉,无论是否有slave,群集都进入 fail状态。

默认情况下,每个群集的节点都使用两个TCP端口.一个是6379,一个是16379;6379服务于客户端的连接,16379 用于群集总线,即使用二进制协议的节点到节点通信通道。节点使用群集总线进行故障检测、配置更新、故障转移授权等。如果开启了防火墙,需要开放这两个端口。

四、搭建

先画一个拓扑图片理清楚里面的关系

1、第一步现在外部使用finalshell 9.9.7.5连接上虚拟机

第二步开始下载连接上网络源开始下载epel-release下载两遍更新一下,安装REdis

第三步、每台机子上面创建目录

mkdir /etc/redis
 cp /etc/redis.conf /etc/redis/redis1_6379.conf
 cp /etc/redis.conf /etc/redis/redis2_6380.conf

回到第一台主机分别修改配置文件内容

开始更改文件三台机子一起改了

vim /etc/redis/redis1_6379.conf

bind 192.168.28.3      本机ip

protected-mode no       关闭保护模式

port 6379       监听端口

daemonize yes      允许后台运行

dir /var/lib/redis/redis3_6379/      目录存放位置

vim /etc/redis/redis2_6380.conf

protected-mode no

bind 192.168.28.3

daemonize yes

进入目录创建文件

cd /var/lib/redis/
 mkdir redis1_6379
 mkdir redis2_6380

启动一下文件

redis-server /etc/redis/redis1_6379.conf 
redis-server /etc/redis/redis2_6380.conf 
netstat -anptu | grep redis

第一台机子没问题了,开始弄第二台机子

bind 192.168.28.4 本机ip

protected-mode no  关闭保护模式

port 6379   监听端口

daemonize yes   允许后台运行

dir /var/lib/redis/redis3_6379/  目录存放位置

bind 192.168.28.4

protected-mode no

port 6380

daemonize yes

dir /var/lib/redis/redis4_6380/

cd /var/lib/redis/
 mkdir redis3_6379
 mkdir redis4_6380
 netstat -anptu | grep redis

第三台机子

bind 192.168.28.5

protected-mode no

port 6379

daemonize yes

dir /var/lib/redis/redis5_6379/

bind 192.168.28.5

protected-mode no

port 6379

daemonize yes

dir /var/lib/redis/redis6_6380/

mkdir redis5_6379
 mkdir redis6_6380
 redis-server /etc/redis/redis5_6379.conf 
 redis-server /etc/redis/redis6_6380.conf 
 netstat -anptu | grep redis

这里开始我们的服务启动成功,开始配置文件分别修改配置文件中

2、更改配置文件

   cluster-enabled yes

   cluster-config-file nodes-6379.conf

   cluster-node-timeout 15000

更改完配置文件一定要检查一下看一下是否起动成功

!net
 kill 
 redis-server /etc/redis/redis1_6379.conf 
 redis-server /etc/redis/redis2_6380.conf 
 !net

第二台和上台一样

第三台和上两台一样

3、构建集群

⑴以下操作需要登录某个节点的redis数据库中

将其他节点加入集群

    CLUSTER MEET 192.168.115.128 6380

    CLUSTER MEET 192.168.115.128 6381

    CLUSTER MEET 192.168.115.128 6382

    CLUSTER MEET 192.168.115.128 6383

    CLUSTER MEET 192.168.115.128 6384

查看一下字符

分配slot一定要出数据库分配数据槽

redis-cli -p 6379 cluster addslots {0..5461}

redis-cli -p 6381 cluster addslots {5462..10922}

redis-cli -p 6383 cluster addslots {10923..16383}

建立主从关系

redis-cli -h 192.168.28.5 -p 6379 cluster replicat  cf2958543c77c8385a12a1408e5295fa3a39d943

redis-cli -h 192.168.28.3 -p 6380 cluster replicate b10d86332060b6c3e2cf106b4102ad2f58897faf

redis-cli -h 192.168.28.4 -p 6379 cluster replicate 6228a79970b2bb518856091201e0a9cc1865661f

 

根据图片找到以下的依赖

redis3是redis1的从数据库所以在库里输入

从ID redis-cli -h 192.168.28.4 -p 6379 cluster replicate 这里加入主的redis1的6379的UUID

从ID redis-cli -h 192.168.28.5 -p 6379 cluster replicate  这里加入主的redis4的6380的UUID

从ID redis-cli -h 192.168.28.3 -p 6380 cluster replicate  这里加入住的redis5的6380的UUID

查看一下数据库状态说明集群成功了

查看命令

cluster nodes

查看所有群集节点

cluster info

查看群集状态

重置集群命令

cluster reset

数据的key不能相同

创建用户他会给我们分配一个哈希槽

相关文章
|
7月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
499 2
|
5月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
692 7
|
11月前
|
存储 NoSQL 数据库
Redis 逻辑数据库与集群模式详解
Redis 是高性能内存键值数据库,广泛用于缓存与实时数据处理。本文深入解析 Redis 逻辑数据库与集群模式:逻辑数据库提供16个独立存储空间,适合小规模隔离;集群模式通过分布式架构支持高并发和大数据量,但仅支持 database 0。文章对比两者特性,讲解配置与实践注意事项,并探讨持久化及性能优化策略,助你根据需求选择最佳方案。
522 5
|
6月前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
8月前
|
负载均衡 NoSQL Redis
【赵渝强老师】Redis的主从复制集群
Redis主从复制是指将一台Redis服务器的数据复制到其他Redis服务器,实现数据热备份、故障恢复、负载均衡及高可用架构的基础。主节点负责写操作,从节点同步数据并可提供读服务,提升并发处理能力。
242 5
|
7月前
|
存储 NoSQL 算法
Redis的集群架构与使用经验
本文介绍了Redis的集群架构与使用经验,包括主从复制、哨兵集群及Cluster分片集群的应用场景与实现原理。内容涵盖Redis主从同步机制、数据分片存储方式、事务支持及与Memcached的区别,并讨论了Redis内存用尽时的处理策略。适用于了解Redis高可用与性能优化方案。
|
10月前
|
消息中间件 NoSQL Linux
Redis的基本介绍和安装方式(包括Linux和Windows版本),以及常用命令的演示
Redis(Remote Dictionary Server)是一个高性能的开源键值存储数据库。它支持字符串、列表、散列、集合等多种数据类型,具有持久化、发布/订阅等高级功能。由于其出色的性能和广泛的使用场景,Redis在应用程序中常作为高速缓存、消息队列等用途。
1004 16
|
11月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
存储 IDE Linux
零基础保姆级教程!手把手教你免费玩转Linux CentOS安装+学习环境搭建(附避坑指南)
本文详细介绍了在VMware虚拟机中安装CentOS 6.8的全过程。首先,需确保已安装VMware并开启V-CPU虚拟化功能,可通过BIOS设置或使用LeoMoon CPU-V工具检测。接着,下载CentOS镜像文件,并在VMware中新建虚拟机,配置CPU、内存、硬盘等参数。最后,加载ISO镜像启动虚拟机,按照提示完成CentOS的安装,包括语言、键盘、存储方式、地区、密码设置及硬盘分区等步骤。安装完成后,以root用户登录即可进入系统桌面,开始学习Linux命令和操作。
1198 13
零基础保姆级教程!手把手教你免费玩转Linux CentOS安装+学习环境搭建(附避坑指南)
|
12月前
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用的算法是哈希槽分区算法。Redis集群中有16384个哈希槽(槽的范围是 0 -16383,哈希槽),将不同的哈希槽分布在不同的Redis节点上面进行管理,也就是说每个Redis节点只负责一部分的哈希槽。在对数据进行操作的时候,集群会对使用CRC16算法对key进行计算并对16384取模(slot = CRC16(key)%16383),得到的结果就是 Key-Value 所放入的槽,通过这个值,去找到对应的槽所对应的Redis节点,然后直接到这个对应的节点上进行存取操作