分布式系统中的数据复制

简介: 分布式系统中的数据复制

一、什么是数据复制?



数据复制是指将数据复制到一个或多个数据容器以确保可用性的过程。复制的数据通常存储在不同的数据库实例中,即使一个实例发生故障,我们也可以从其他实例获取数据。


一种流行数据复制的实现架构是主从架构。


推荐博主开源的 H5 商城项目waynboot-mall,这是一套全部开源的微商城项目,包含三个项目:运营后台、H5 商城前台和服务端接口。实现了商城所需的首页展示、商品分类、商品详情、商品 sku、分词搜索、购物车、结算下单、支付宝/微信支付、收单评论以及完善的后台管理等一系列功能。技术上基于最新得 Springboot3.0、jdk17,整合了 MySql、Redis、RabbitMQ、ElasticSearch 等常用中间件。分模块设计、简洁易维护,欢迎大家点个 star、关注博主。


github 地址:https://github.com/wayn111/waynboot-mall


二、主从架构



为了理解这个架构,我们举一个例子。

  • 我们有四个客户端,每个客户端都连接到一个负载均衡器。
  • 然后负载均衡器将请求分发到三个应用程序服务器。
  • 每台服务器连接到一个数据库实例。


你能注意到这里有什么问题吗?


我们的数据库存在单点故障。如果它崩溃了,我们的整个系统就会停止工作。


为了避免这种单点故障,我们可以使用另一个数据库(最好是不同的数据库实例)来存储原始数据的副本(一般我们成为从库)。现在如果原始数据库(主库)崩溃,我们可以将请求转到从库。


但是我们如何保持从库与主库同步呢?这有两种方法。


同步复制数据


  • 在这种方法中,数据同时写入主库和从库
  • 数据始终一致。即数据如果写入主库,它也会写入从库
  • 数据库负载较高


异步复制数据


  • 在这种方法中,首先将数据写入主库,并定期将更新写入从库
  • 由于复制以固定间隔进行,因此存在数据丢失和不一致的可能性
  • 数据库负载相对较低


这里我们的一般定义是收到写请求的主库数据库是 master)。从库被称为 slaves。

47fb69d333c02390bb256622aa78f8d5.png


主从架构


如上图我们的主站也就是 Server2 维护事务日志。他会更新从站中(Server1)的数据,它发送命令,然后从站以相同的顺序执行这些命令。


如果服务器向从站发送写入请求会发生什么?


有两种方法可以处理这种情况


  • 不允许对从站的写请求,从站无法写入数据库,它只能去读从库数据。
  • 允许从站写入数据。我们将允许从站写入数据。然后从站将更改复制到主站。在这种情况下,从站就接替了主站的角色。所以不再是主从架构而是主主架构


主主架构的问题


网络故障可能会导致主主架构中的数据不一致。

让我们用一个例子来理解这一点,假设我们有两个数据库实例 A 和 B。

  • 两人都是 master。
  • 它们之间的路由器出现故障。所以 A 认为 B 离线,B 认为 A 离线。
  • 他们有一个数据项 X,其值最初为 100。


现在用户发送以下请求,

  • X 减去 20,该请求被路由到 A,此时 A 中 X 的值为 80。
  • X 减去 80,这个请求被路由到 B(因为都是 master,所以写请求可以路由到任何数据库)。现在 B 中 X 的值为 20。


由于存在通信故障,A 和 B 无法同步,它们具有不同的数据值,因此不一致。


  • 现在,如果用户发出读请求,他/她将获得不同的值,具体取决于他/她将连接到的数据库。


这个问题被称为裂脑问题。


三、解决裂脑问题


70dae15e6100cb7803b7d392ea7ad495.png

我们可以通过添加第三个节点(数据库实例)来解决裂脑问题。

这里我们假设一个节点崩溃以及其他两个节点之间的路由器崩溃的可能性极小。

让我们考虑三个数据库实例 A、B 和 C。


  • 如果 C 崩溃,A 和 B 是主库并且它们是同步的。所以他们处于一致的状态。当 C 在线时,他们可以读取 A 或 B 的内容。
  • 如果 A 和 B 之间出现通信故障
  • 当 A 收到写入请求时,它将其状态传播到 C。最初状态为 S0,然后转移到 Sx。所以现在 A 和 C 都有 Sx。
  • 当 B 收到写入请求时,它将其状态从 S0 移至 Sy。它尝试将其状态传播到 C,但失败,因为 B 的先前状态不等于 C。现在 B 中止写入请求并将其状态更新为 Sx。现在 B 可以接受写入请求并将更改传播到 C。


这称为分布式共识。多个节点就特定值达成一致。在这种情况下,A、B 和 C 在最终状态上达成一致。

相关文章
|
3月前
|
存储 缓存 NoSQL
gossip:借助流言蜚语实现数据一致性
gossip:借助流言蜚语实现数据一致性
68 10
|
2月前
|
算法 Java 关系型数据库
漫谈分布式数据复制和一致性!
漫谈分布式数据复制和一致性!
|
5月前
|
消息中间件 Kafka 索引
微服务数据问题之Broker宕机MetaQ保证数据的可靠性如何解决
微服务数据问题之Broker宕机MetaQ保证数据的可靠性如何解决
|
7月前
|
算法 安全 程序员
揭秘分布式系统:日志复制如何保障数据一致性?
本文介绍了分布式系统中的日志复制技术,这是保证高可用性和数据一致性的重要手段。以Raft算法为例,文章阐述了Leader如何将客户端请求复制到Follower的日志中:Leader首先记录请求,然后通过RPC发送给Follower,等待ACK确认,必要时进行重试。当多数Follower确认后,Leader提交日志并通知Follower。文中还提到了网络分区和日志一致性等挑战,以及应对策略,如超时机制、领导选举、日志匹配和压缩。最后,强调了日志复制在面对故障时确保系统一致性和可用性的作用。
286 4
|
存储 缓存 文件存储
如何保证分布式文件系统的数据一致性
分布式文件系统需要向上层应用提供透明的客户端缓存,从而缓解网络延时现象,更好地支持客户端性能水平扩展,同时也降低对文件服务器的访问压力。当考虑客户端缓存的时候,由于在客户端上引入了多个本地数据副本(Replica),就相应地需要提供客户端对数据访问的全局数据一致性。
31572 70
如何保证分布式文件系统的数据一致性
|
存储 消息中间件 移动开发
分布式系统中的数据复制
网络故障可能会导致主主架构中的数据不一致。 让我们用一个例子来理解这一点,假设我们有两个数据库实例 A 和 B。
63 1
|
算法 网络协议 NoSQL
「数据一致性」理解分布式系统中的一致性
「数据一致性」理解分布式系统中的一致性
为什么分布式系统中无法同时保证一致性和可用性?
为什么分布式系统中无法同时保证一致性和可用性?
252 0
|
算法 NoSQL 分布式数据库
如何在分布式系统中实现一致性?
如何在分布式系统中实现一致性?
362 0
|
新零售 消息中间件 存储
保证分布式系统数据一致性的6种方案
在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性?
4317 0

热门文章

最新文章