Redis(六):Redis主从复制(1)原理

简介:

关于主从复制


MySQL的主从一样,这种结构主要是为了数据冗余和提示性能。Redis的主从同步是异步进行的,所以并不会影响主的处理性能。在数据持久化方面,可以把这个任务交给从服务器来做,这样可以减小主服务器的负担。

在主从结构中,一般把从服务器设置为只读模式,这样也是为了更好的保持数据一致性。


原理(参考《Redis设计与实现》)


Redis主从同步有两种方式,一种是全同步部分同步,当然执行哪种同步是自动判断的无需人工干预。

Redis的复制功能分为同步(SYNC)和命令传播(COMMAND PROPAGATE)两个操作:

  • 同步操作:将从服务器的数据库状态更新至主服务器当前所处的状态

  • 命令传播:当主服务器数据被修改后,通过命令传播使主从数据库状态一致


旧版(Redis 2.8以前)的复制功能实现


上面提到同步有两种方式全同步和部分同步,在旧版中只有全同步没有部分同步。同步过程如下:

  • 从服务器向主服务器发送SYNC命令

  • 主服务器收到SYNC命令后执行BGSAVE命令,在后台生成一个RDB文件,并使用缓冲区记录从现在(当BGSAVE执行的那一刻)开始执行的所有写命令。

  • 当主服务器使用BGSAVE命令执行完毕后,主服务器会将RDB文件发送给从服务器,从服务器载入这个RDB文件,将自己的数据库状态更新至主服务器执行BGSAVE那一刻的状态。

  • 主服务器将缓冲区里面记录的所有写命令发送给从服务器,从服务器执行这些命令,从而使主从数据库状态一致。

同步完成后,主服务器的数据也会随着后期的写操作而变化,所以就需要通过命令传播功能把在主服务器上执行的写命令传递给从服务器来实现主从数据库状态一致。


旧版复制功能的缺陷:

  • 初次复制:从服务器以前没有同步过任何主服务器,或者从服务器当前要同步的主服务器和上次同步的不同

  • 断线后复制:处在同步过程中,但因其他原因导致网络中断,进而造成复制中断,再重新恢复网络连通后的复制。

对于初次复制整个过程没有问题,但是断线后复制则会执行全同步,这样效率比较低。因为SYNC过程很消耗资源,生成RDB会消耗CPU、内存和磁盘IO资源,发送RDB的过程会占用网络带宽,从服务器载入RDB时会阻塞服务器从而无法处理请求。


新版(Redis 2.8及以后)的复制功能实现


在新版中使用了PSYNC来代替SYNC执行同步任务。PSYNC有两种模式也就是上面提到的全同步和部分同步:

  • 全同步用于初次同步,执行过程和SYNC一致

  • 部分同步则重点在于同步断线期间(一定期间而非无限期间)的内容,也就是说在规定期间内执行增量部分的同步,如果超过了规定期间则执行全同步。

部分同步的三个重要概念:

  • 主服务器的复制偏移量和从服务器的复制偏移量

  • 服务器的复制积压缓冲区

  • 服务器的运行ID

复制偏移量:主服务器每次给从服务器传递N个字节的数据时,就将自己的复制偏移量增加N,同时从服务器收到N个字节以后,也会再自己的复制偏移量上加N,从而保持主从的复制偏移量一样,这样就可以判断主从的数据库状态是否一致。

复制积压缓冲区:改缓冲区是一个定长的先进先出的队列,默认是1MB。主服务器把命令传递给从服务器的同时也会向自己的积压缓冲区队列写入这个命令。所以这个缓冲区里面保存了一部分最近的写命令,并且缓冲区会为队列的每个字节记录偏移量。

当从服务器断线重新连接后,会发送PSYNC命令,同时包含自己的复制偏移量,主服务器根据这个复制偏移量来决定用何种同步方式。如果该偏移量之后的数据(偏移量+1开始的数据)仍然在复制积压缓冲区内,那么执行部分同步,否则执行全同步。

服务器的运行ID每个Redis服务器都有一个唯一ID标识符,该ID是自动生成的一个40位十六进制字符。当初次复制时,主从服务器会保存彼此的ID,当断线后,从服务器除了向主服务器提供复制偏移量以外还需提供从服务器保存的主服务器的ID,当主服务器接受到ID后,先检查是否和自己的一样,如果一样表示从服务器请求的是一个断线后同步,再根据偏移量来决定执行全同步还是部分同步;如果该ID不是自己的ID,则表示是一个初次同步,则执行全同步。

在新版中的命令传播,从服务器会以默认每秒的频率向主服务器发送REPLCONF_ACK,该任务会传递从服务器的复制偏移量,同时也是为了进行心跳检测。如果主服务器超过1秒都没有收到从服务器的REPLCONF_ACK,则主服务器会认为连接出现了中断。

在主服务器的控制台输入INFOreplication可以在lag一栏看到从服务器最后一次向主服务器发送REPLCONF_ACK命令距离限制过了多少,一般该值为0或者1,超过1秒则表示有问题,如下图:

wKiom1euknWQ64BPAAB13uxDrnk866.jpg-wh_50






      本文转自linuxjavachen  51CTO博客,原文链接:http://blog.51cto.com/littledevil/1837523,如需转载请自行联系原作者





相关文章
|
存储 缓存 NoSQL
Redis 服务器全方位介绍:从入门到核心原理
Redis是一款高性能内存键值数据库,支持字符串、哈希、列表等多种数据结构,广泛用于缓存、会话存储、排行榜及消息队列。其单线程事件循环架构保障高并发与低延迟,结合RDB和AOF持久化机制兼顾性能与数据安全。通过主从复制、哨兵及集群模式实现高可用与横向扩展,适用于现代应用的多样化场景。合理配置与优化可显著提升系统性能与稳定性。
913 0
|
10月前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
10月前
|
存储 负载均衡 NoSQL
Redis主从复制
在分布式系统中,为解决单点故障和提升性能,常采用Redis主从复制架构。通过将数据复制到多个从节点,实现读写分离、负载均衡及高可用性,同时支持多种拓扑结构以适应不同场景需求。
|
负载均衡 NoSQL Redis
【赵渝强老师】Redis的主从复制集群
Redis主从复制是指将一台Redis服务器的数据复制到其他Redis服务器,实现数据热备份、故障恢复、负载均衡及高可用架构的基础。主节点负责写操作,从节点同步数据并可提供读服务,提升并发处理能力。
396 5
|
10月前
|
存储 缓存 监控
Redis分区的核心原理与应用实践
Redis分区通过将数据分散存储于多个节点,提升系统处理高并发与大规模数据的能力。本文详解分区原理、策略及应用实践,涵盖哈希、范围、一致性哈希等分片方式,分析其适用场景与性能优势,并探讨电商秒杀、物联网等典型用例,为构建高性能、可扩展的Redis集群提供参考。
507 0
|
消息中间件 缓存 NoSQL
Redis原理—5.性能和使用总结
本文详细探讨了Redis的阻塞原因、性能优化、缓存相关问题及数据库与缓存的一致性问题。同时还列举了不同缓存操作方案下的并发情况,帮助读者理解并选择合适的缓存管理策略。最终得出结论,在实际应用中应尽量采用“先更新数据库再删除缓存”的方案,并结合异步重试机制来保证数据的一致性和系统的高性能。
Redis原理—5.性能和使用总结
|
NoSQL 算法 安全
Redis原理—1.Redis数据结构
本文介绍了Redis 的主要数据结构及应用。
Redis原理—1.Redis数据结构
|
缓存 NoSQL Redis
Redis原理—2.单机数据库的实现
本文概述了Redis数据库的核心结构和操作机制。
Redis原理—2.单机数据库的实现
|
存储 缓存 NoSQL
Redis原理—4.核心原理摘要
Redis 是一个基于内存的高性能NoSQL数据库,支持分布式集群和持久化。其网络通信模型采用多路复用监听与文件事件机制,通过单线程串行化处理大量并发请求,确保高效运行。本文主要简单介绍了 Redis 的核心特性。
|
缓存 NoSQL Redis
Redis原理—3.复制、哨兵和集群
详细介绍了Redis的复制原理、哨兵原理和集群原理。