一、redis高可用性概述
1、高可用是分布式的概念。
Redis的高可用性是指在Redis集群中,当主节点宕机了,通过切换备用节点顶替它继续运行,保持系统正常运行且数据可靠性不受影响。
2、通过实现Redis的高可用性,可以提供以下几个主要优势:
1)避免单点故障:通过配置和设置多个Redis节点,如果其中一个节点发生故障,其他节点可以接替工作,避免了单点故障对整个系统的影响。
2)数据冗余和复制:通过数据的复制和持久化备份,Redis能够在主节点出现故障时,自动切换到备用节点,并恢复数据,确保数据的持久性和可用性。
3)故障自动检测和故障转移:Redis的高可用方案通常具备故障检测和自动故障转移的功能,能够监控节点的健康状态,并在节点故障时自动将从节点升级为主节点。
3、因此,redis的高可用主要完成以下工作:
1)数据同步。主节点和从节点(备用节点)之间的数据需要进行同步。
2)主从切换。若主节点宕机,需要有一种机制可以切换从节点变成主节点。
二、主从复制
2.1 主从复制
主从复制是数据同步方式,解决了单点故障的问题,但不能保证高可用(是高可用的基础)。主要用来实现 redis 数据的可靠性,防止主 redis 所在磁盘损坏,造成数据永久丢失。
主从之间采用异步复制的方式,以及采用读写分离的方式,主节点(master)可以进行读写操作,从节点(replica)一般是只读。也就是说,所有的数据修改只在主节点上进行,然后将最新的数据同步给节点,这样就使得主从服务器的数据是一致的。
需要注意的是:
1)主从复制无法提供高可用和数据保护能力,因为主节点发生故障时,需要手动进行故障转移。
2)从节点主动向主节点建立连接,从节点主动同步主节点的数据。
2.2 数据同步的方式
2.2.1 全量数据同步
1)全量数据同步是在从节点刚加入复制集群或者需要进行完整数据更新时执行的同步过程。
2)它的目标是将主节点上的所有数据完整地同步到从节点。全量数据同步的过程是将主节点上的所有内存数据通过快照(RDB文件)方式发送给从节点,从节点接收到快照后将其加载到自己的数据库中。
3)全量数据同步会消耗较大的网络带宽和时间,特别是在数据集较大的情况下。并且在全量数据同步过程中,从节点无法处理外部的读取请求,因为它正在重新加载大量的数据。
2.2.2 增量数据同步
1)增量数据同步是在全量数据同步完成后,用于保持主从节点之间数据的一致性。
2)它通过记录主节点上的增量写命令(例如AOF日志文件)并将其发送给从节点来实现。增量数据同步的过程是在主节点上记录所有的写操作,并将这些操作记录传输给从节点,从节点接收到后执行这些操作以保持与主节点的数据一致。
3)增量数据同步具有实时性,可以减少数据同步的延迟
从数据库会记录一个偏移量offset(即记录同步到哪里了)。当从数据库断开重连,主数据库补发丢失数据到从数据库。此时如果offset在环形缓冲区当中,从数据库就会将offset后面的那部分数据同步过来,增量同步;如果offset不在环形缓存区中,说明数据过期太久,就会全量同步,把主数据库内部所有数据都同步过来。
2.3 实现原理
主从复制主要由环形缓冲区、复制偏移量、RUN ID三个部分组成。
2.3.1 服务器 RUN ID
RUNID用于构建主从的关系。无论主库还是从库都有自己的 RUN ID , RUN ID 启动时自动产生, RUN ID 由 40 个随机的十六进制字符组成。
当从库对主库初次复制时,主库将自身的 RUN ID 传送给从库,从库会将 RUN ID 保存。
当从库断线重连主库时,从库将向主库发送之前保存的 RUN ID :
∙ 从库 RUN ID 和主库 RUN ID 一致,说明从库断线前复制的就是当前的主库;主库尝试执行增量同步操作;
∙ 若不一致,说明从库断线前复制的主库并不时当前的主库,则主库将对从库执行全量同步操作。
2.3.2 复制偏移量 offset
主从都会维护一个复制偏移量:
∙ 主库向从库发送 N 个字节的数据时,将自己的复制偏移量上加 N;
∙ 从库接收到主库发送的 N 个字节数据时,将自己的复制偏移量加上 N。
通过比较主从偏移量得知主从之间数据是否一致;偏移量相同,则数据一致;偏移量不同,则数据不一致。
2.3.3 环形缓冲区
本质:固定长度先进先出队列。
当因某些原因(网络抖动或从库宕机)从库与主库断开连接,避免重新连接后开始全量同步,在主库设置了一个环形缓冲区;该缓冲区会在从库失联期间累计主库的写操作;当从库重连,会发送自身的复制偏移量到主库,主库会比较主从的复制偏移量“
∙ 若从库 offset 还在复制积压缓冲区中,则进行增量同步;
∙ 否则,主库将对从库执行全量同步。