【Redis 系列】redis 学习十,Redis 集群搭建和主从复制

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 【Redis 系列】redis 学习十,Redis 集群搭建和主从复制

【Redis 系列】redis 学习十,Redis 集群搭建和主从复制

主从复制的理论

先来说说什么是主从复制

主从复制,就是将一台 redis 服务器的数据,复制到其他的 redis 服务器上, 前者为主节点 master,后者为从节点 slave

数据的复制是单向的,只能是主机复制到从机,master 以写为主,slave 以读为主

默认的情况下,每台 redis 服务器都是主节点,并且一个主节点都会有多个从节点或者没有从节点,但是反过来,一个从节点,只能有一个主节点

主从复制的作用:

  • 数据冗余

主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式

  • 故障恢复

当主节点出现异常问题时,从节点可以顶替上去提供服务,实现快速的故障恢复,实际上是一种服务的冗余

  • 负载均衡

主从复制的基础上,加上读写分离,可以由主节点提供服务,由从节点提供服务(也就是 写的时候连接 redis 的主服务器,读数据的时候连接 redis 的从服务器),这就可以分担服务器的压力

特别是在读多写少的情况下,通过多个从节点分担负载,可以大大的提供 redis 服务器的并发量

  • 是高可用的基础

主从复制是哨兵模式和集群能够实施的基础,so 主从复制是 redis 高可用的基石

在我们实际工作项目中,绝对不可能在生产环境中只有一台 redis 服务器,必须是集群模式的,最次也是 一主二从

  • 从结构来说,单个 reids 服务器会发生单点故障,且一台 redis 服务器承担所有读和写的压力,他太难了
  • 从 redis 服务器自身容量来看,单个 redis 服务器自身的容量是有限的,一般来说,单台的 redis 服务器最大使用内存不应该超过 20 GB

image.png

例如电商平台,进本上都是多读少写的方式,就会用到上述图示的架构,主从复制,读写分离,大部分情况都是在做读操作,很少一部分情况是在做写操作,这样可以减轻服务器的压力,架构中经常使用一主二从

环境配置

咱们在一台服务器上开启 3 个 redis-server 来模拟 reids 的集群,这是一个伪集群

查看 redis master 节点的信息,


127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:0
master_failover_state:no-failover
master_replid:87d84e1268d878bd3b1e7d5ea7f5060d4f71471e
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

将原有的 redis.conf 文件复制 3 份,分别是 6379.conf , 6380.conf ,6381.conf


root@iZuf66y3tuzn4wp3h02t7pZ:/usr/local/redis/redis-6.2.5# cp redis.conf 6379.conf
root@iZuf66y3tuzn4wp3h02t7pZ:/usr/local/redis/redis-6.2.5# cp redis.conf 6380.conf
root@iZuf66y3tuzn4wp3h02t7pZ:/usr/local/redis/redis-6.2.5# cp redis.conf 6

分别修改上述  3 个文件的如下 4 个位置:

  • redis server 的端口号  port 6379
  • 后台运行的 redis server pid 的名字,pidfile /var/run/redis_6379.pid
  • 日志文件,logfile "6379.log"
  • rdb 持久化文件,dbfilename dump6379.rdb

三个文件分别修改完毕后,分别启动三个 redis-server


root@iZuf66y3tuzn4wp3h02t7pZ:~# redis-server /usr/local/redis/redis-6.2.5/6379.conf
root@iZuf66y3tuzn4wp3h02t7pZ:~# redis-server /usr/local/redis/redis-6.2.5/6380.conf
root@iZuf66y3tuzn4wp3h02t7pZ:~# redis-server /usr/local/redis/redis-6.2.5/6381.conf

redis-server 后台启动后,我们查看一下是否启动成功

ps aux | grep reids


root@iZuf66y3tuzn4wp3h02t7pZ:~# ps aux |grep redis
root      4345  0.0  0.1  62776  3864 ?        Ssl  08:50   0:00 redis-server 0.0.0.0:6379
root      4351  0.0  0.1  62776  3860 ?        Ssl  08:50   0:00 redis-server 0.0.0.0:6380
root      4359  0.1  0.1  62776  3856 ?        Ssl  08:50   0:00 redis-server 0.0.0.0:6381
root      4369  0.0  0.0  14436  1016 pts/0    S+   08:50   0:00 grep --color=auto redis

使用 redis-cli 连接每一个不同端口的 redis-server,查看主从信息,发现每一个 redis-server 都是主机,如下:

127.0.0.1:6379> info replication
# Replication
role:master         # 主机
connected_slaves:0      # 从机
master_failover_state:no-failover
master_replid:38cbcdac7d7f6b1c154643f94d6742111826cccb
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

开始设置主从(一主二从)

默认情况下,redis 服务器默认都是主节点,我们只需要配置从节点即可

我们设置 6379 为主,6380 为从,6381 为从

image.png

6380 和 6381 都设置好是 6379 的从节点,现在可以查看 6379 的配置信息如下,自己是 master ,有 2 个 slave

image.png

这就是设置好了redis 集群,一主二从,这是通过命令的方式临时设置,若其中一个 redis 服务器重启后,自己也会变成 master,因此我们要持久的设置,可以去配置文件中设置

image.png

测试在主机上面读写 key,在从机上面读写 key

root@iZuf66y3tuzn4wp3h02t7pZ:~# redis-cli -p 6379
127.0.0.1:6379>
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> get k1
"v1"
127.0.0.1:6379> set k2 v2
OK
127.0.0.1:6379> set k3 v3
OK
127.0.0.1:6379>
root@iZuf66y3tuzn4wp3h02t7pZ:~# redis-cli -p 6380
127.0.0.1:6380> get k2
"v2"
127.0.0.1:6380> set k4 v4
(error) READONLY You can't write against a read only replica.
127.0.0.1:6380>
root@iZuf66y3tuzn4wp3h02t7pZ:~# redis-cli -p 6381
127.0.0.1:6381> get k3
"v3"
127.0.0.1:6381> set k5 v5
(error) READONLY You can't write against a read only replica.

主机上,可以读,可以写

从机上,只能读,不能写

测试断掉主机


root@iZuf66y3tuzn4wp3h02t7pZ:~# redis-cli -p 6379
127.0.0.1:6379> shutdown
not connected>

image.png

image.png


root@iZuf66y3tuzn4wp3h02t7pZ:~# redis-cli -p 6381
127.0.0.1:6381> keys *
1) "k3"
2) "k2"
3) "k1"

主机挂掉,从机仍然可以读取数据,只是还是不能写,主机起来后,主机仍然可以读和写,写操作又回来了,我们的快乐又回来了

复制的原理

Slave 启动成功连接到 master 后会发送一个 sync 命令

master 收到命令后,启动后台存盘进程,同时收集所有接收到用于修改数据库集命令,在后台进程执行完毕后,master 进程将传送整个数据文件给到 slave ,并完成一次同步

全量复制

slave 服务接收到 master 传过来的数据后,将其存盘并加载到内存

增量复制

master 将新的收集到的所有修改的命令依次传递给 slave ,并完成同步

一旦重新连接 master 节点,一次完全的全量同步就会被执行

参考资料:

redis_doc

欢迎点赞,关注,收藏

朋友们,你的支持和鼓励,是我坚持分享,提高质量的动力

image.png

好了,本次就到这里

技术是开放的,我们的心态,更应是开放的。拥抱变化,向阳而生,努力向前行。

我是阿兵云原生,欢迎点赞关注收藏,下次见~

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
11天前
|
NoSQL 数据可视化 Linux
redis学习四、可视化操作工具链接 centos redis,付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装
本文介绍了Redis的两个可视化管理工具:付费的Redis Desktop Manager和免费的Another Redis DeskTop Manager,包括它们的下载、安装和使用方法,以及在使用Another Redis DeskTop Manager连接Redis时可能遇到的问题和解决方案。
37 1
redis学习四、可视化操作工具链接 centos redis,付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装
|
8天前
|
NoSQL Linux Redis
Docker学习二(Centos):Docker安装并运行redis(成功运行)
这篇文章介绍了在CentOS系统上使用Docker安装并运行Redis数据库的详细步骤,包括拉取Redis镜像、创建挂载目录、下载配置文件、修改配置以及使用Docker命令运行Redis容器,并检查运行状态和使用Navicat连接Redis。
66 3
|
10天前
|
NoSQL Java Redis
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
这篇文章介绍了如何使用Spring Boot整合Apache Shiro框架进行后端开发,包括认证和授权流程,并使用Redis存储Token以及MD5加密用户密码。
16 0
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
|
14天前
|
存储 NoSQL 大数据
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
25 3
|
14天前
|
存储 Prometheus NoSQL
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
19 3
|
18天前
|
NoSQL 关系型数据库 MySQL
Redis 事务特性、原理、具体命令操作全方位诠释 —— 零基础可学习
本文全面阐述了Redis事务的特性、原理、具体命令操作,指出Redis事务具有原子性但不保证一致性、持久性和隔离性,并解释了Redis事务的适用场景和WATCH命令的乐观锁机制。
110 0
Redis 事务特性、原理、具体命令操作全方位诠释 —— 零基础可学习
|
11天前
|
NoSQL Redis
redis学习五、错误总结,redis正常运行时后会出现一些bug 总结。
本文介绍了Redis在正常运行时可能遇到的一个错误,即无法进行磁盘持久化的问题,并提供了通过设置`stop-writes-on-bgsave-error`为`no`来解决这一问题的方案。
58 0
|
29天前
|
NoSQL 网络协议 Redis
Redis的主从复制和哨兵模式
本文详细介绍了Redis的主从复制配置、原理(包括全量复制和增量复制)以及如何搭建一主二从的Redis集群,同时还探讨了Redis哨兵模式的概念、配置文件、以及如何配置一主二从三哨兵的Redis哨兵模式,以实现高可用性。
|
NoSQL Redis 数据库
Redis 主从复制的核心原理
Redis 主从复制的核心原理
46 0
|
2月前
|
消息中间件 存储 缓存
深入理解Redis集群主从复制原理
该文章主要探讨了Redis集群中的主从复制原理,包括为何需要主从复制、配置方法、复制流程以及一些高级特性。
深入理解Redis集群主从复制原理