大厂都在用的MySQL主从复制、读写分离及高可用方案(下)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: 大厂都在用的MySQL主从复制、读写分离及高可用方案(下)

3 主从复制的缺点及解决方案

3.1 主从延迟

  • 只能数据分片,把数据量做小

主从同步适用场景

推荐在读 >> 写,且读时对数据时效性要求不高时采用。所以可以考虑用MySQL的并行复制,但问题是那是库级别的并行,所以有时作用不是很大。

主从延迟严重解决方案

分库 : 将一个主库拆分,每个主库的写并发就降低了,主从延迟即可忽略不计


打开MySQL支持的并行复制,多个库并行复制,若某个库的写入并发特别高,写并发达到了2000/s,并行复制还是没意义。二八法则,很多时候比如说,就是少数的几个订单表,写入了2000/s,其他几十个表10/s。

从库开启多线程,并行读取relay log中不同库的日志,然后并行重放不同库的日志,这是库级别的并行。


重构代码 : 重构代码,插入数据后,直接更新,不查询


若确实存在必须先插入,立马要求查询,然后立马就反过来执行一些操作,对这个查询设置直连主库(不推荐,这会导致读写分离失去意义)

3.2 应用侧需要配合读写分离框架

读写分离

借助于主从复制,我们现在有了多个 MySQL 服务器示例。

如果借助这个新的集群,改进我们的业务系统数据处理能力?

最简单的就是配置多个数据源,实现读写分离


动态切换数据源

  1. 基于 Spring/Spring Boot,配置多个数据源(例如2个,master 和 slave)
  2. 根据具体的 Service 方法是否会操作数据,注入不同的数据源,1.0版本

优化:

1.1:基于操作 AbstractRoutingDataSource 和自定义注解 readOnly 之类的,简化自动切换数据源

1.2:支持配置多个从库

1.3:支持多个从库的负载均衡

image.png

框架

“动态切换数据源”版问题:

  • 代码侵入性强
  • 降低侵入性会导致”写后立即读”不一致问题
    写时(还没同步到从库),立马读(从库),导致你 insert 数据后去查却查不到!

改进方式,ShardingSphere-jdbc 的 Master-Slave 功能

1)SQL 解析和事务管理,自动实现读写分离

2)解决”写完读”不一致的问题

只要一个事务中解析到有写,所有读都读主库,而无需我们业务代码处理。


数据库中间件

“框架版本”的问题?

  • 对业务系统还是有侵入
  • 对已存在的旧系统改造不友好


优化方案:MyCat/ShardingSphere-Proxy 的 Master-Slave 功能

  • 需要部署一个中间件,规则配置在中间件
  • 模拟一个 MySQL 服务器,对业务系统无侵入


但是该方案需要单独部署中间件,需要运维成本和领导审批,所以一般开发人员使用框架方案。


3.3 无法高可用

3.3.1 为什么要高可用

1、读写分离,提升读的处理能力

2、故障转移,提供 failover 能力


加上业务侧连接池的心跳重试,实现断线重连,业务不间断,降低RTO和RPO。

高可用意味着,更少的不可服务时间。一般用SLA/SLO衡量。


1年 = 365天 = 8760小时
99 = 8760 * 1% = 8760 * 0.01 = 87.6小时
99.9 = 8760 * 0.1% = 8760 * 0.001 = 8.76小时
99.99 = 8760 * 0.0001 = 0.876小时 = 0.876 * 60 = 52.6分钟
99.999 = 8760 * 0.00001 = 0.0876小时 = 0.0876 * 60 = 5.26分钟

3.3.2 failover,故障转移,灾难恢复

容灾:热备与冷备

对于主从来说,就是主挂了,某一个从,变成主,整个集群来看,正常对外提供服务。

常见的一些策略:

  • 多个实例不在一个主机/机架上
  • 跨机房和可用区部署
  • 两地三中心容灾高可用方案


3.3.3 高可用方案

3.3.3.1 主从手动切换

若主节点宕机,将某个从改成主;重新配置其他从节点。修改应用数据源配置。

缺点:

  1. 可能数据不一致
  2. 需要人工干预
  3. 代码和配置的侵入性

3.3.3.2 主从自动切换

用 LVS+Keepalived 实现多个节点的探活+请求路由。

配置 VIP 或 DNS 实现配置不变更。

缺点:

  • 手工处理主从切换
  • 大量的配置和脚本定义


只能算半自动。

3.3.3.2 MHA

MHA,Master High Availability,目前在 MySQL 高可用方面是一个相对成熟的解决方案,它由日本 DeNA 公司的 youshimaton(现就职于 Facebook)开发,是一套优秀的作为 MySQL 高可用性环境下故障切换和主从提升的高可用软件。

image.png

基于 Perl 语言开发,一般能在30s内实现主从切换。

切换时,直接通过 SSH 复制主节点的日志。

缺点:

  • 需要配置 SSH 信息
  • 至少3台

3.3.3.2 MGR

不借助外部力量,只使用 MySQL 本身。如果主节点挂掉,将自动选择某个从改成主;无需人工干预,基于组复制,保证数据一致性。

image.png

缺点:

  • 外部获得状态变更需要读取数据库
  • 外部需要使用 LVS/VIP 配置

特点:

  • 高一致性
    基于分布式Paxos协议实现组复制,保证数据一致性
  • 高容错性
    自动检测机制,只要不是大多数节点都宕机就可继续工作,内置防脑裂保护机制
  • 高扩展性
    节点的增加与移除会自动更新组成员信息,新节点加入后,自动从其他节点同步增量数据,直到与其他节点数据一致
  • 高灵活性
    提供单主模式和多主模式,单主模式在主库宕机后能够自动选主,所有写入都在主节点进行,多主模式支持多节点写入


适用场景:

  • 弹性复制
    需要非常流畅的复制基础架构的环境,其中服务器的数量必须动态地增长或缩减,而最少尽可能的痛苦。

image.png

高可用分片

Sharding is a popular approach to achieve write scale-out. Users can use MySQL Group Replication to implement highly available shards. Each shard

can map into a Replication Group.

分片是实现写横向扩展的一种流行方法。用户可以使用MySQL组复制来实现高度可用的分片。每个分片可以映射到副本组。


image.png

3.3.3.4 MySQL Cluster

完整的数据库层高可用解决方案。

MySQL InnoDB Cluster是一个高可用的框架,构成组件:


MySQL Group Replication

提供DB的扩展、自动故障转移


MySQL Router

轻量级中间件,提供应用程序连接目标的故障转移。MySQL Router是一个轻量级的中间件,可以提供负载均衡和应用连接的故障转移。它是MySQL团队为MGR量身打造的,通过使用Router和Shell,用户可以利用MGR实现完整的数据库层的解决方案。如果您在使用MGR,请一定配合使用Router和Shell,可以理解为它们是为MGR而生的,会配合MySQl 的开发路线图发展的工具。


MySQL Shell

新的MySQL客户端,多种接口模式。可以设置群组复制及Router。MySQL Shell是MySQL团队打造的一个统一的客户端, 它可以对MySQL执行数据操作和管理。它支持通过JavaScript,Python,SQL对关系型数据模式和文档型数据模式进行操作。使用它可以轻松配置管理InnoDB Cluster。

1.png

3.3.3.5 Orchestrator

如果主节点挂掉,将某个从改成主。

一款MySQL高可用和复制拓扑管理工具,支持复制拓扑结构的调整,自动故障转移和手动主从切换等。后端数据库用MySQL或SQLite存储元数据,并提供Web界面展示MySQl 复制的拓扑关系及状态,通过Web可更改MySQL实例的复制关系和部分配置信息,同时也提供命令行和API接口,方便运维管理。

特点:

  1. 自动发现MySQL的复 制拓扑,并且在web.上展示;
  2. 重构复制关系, 可以在web进行拖图来进行复制关系变更;
  3. 检测主异常,并可以自动或手动恢复,通过Hooks进行自定义脚本;
  4. 支持命令行和web界面管理复制。


基于 Go 语言开发,实现了中间件本身的高可用。

两种部署方式

orchestrator/raft:

  1. 数据一致性由orchestrator的raft协议保证
  2. 数据库之间不通信
    orchestrator/[galera | xtradb cluster | innodb cluster]:
  3. 数据一致性由数据库集群保证
  4. 数据库结点之间通信


如果不部署client

  1. 使用HTTP (/api/leader-check)查询并路由到主节点


优势:

能直接在 UI 界面

拖拽改变主从关系

image.png

参考

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
1月前
|
运维 监控 关系型数据库
MySQL高可用方案:MHA与Galera Cluster对比
本文深入对比了MySQL高可用方案MHA与Galera Cluster的架构原理及适用场景。MHA适用于读写分离、集中写入的场景,具备高效写性能与简单运维优势;而Galera Cluster提供强一致性与多主写入能力,适合对数据一致性要求严格的业务。通过架构对比、性能分析及运维复杂度评估,帮助读者根据自身业务需求选择最合适的高可用方案。
|
1月前
|
SQL 监控 关系型数据库
MySQL主从复制:构建高可用架构
本文深入解析MySQL主从复制原理与实战配置,涵盖复制架构、监控管理、高可用设计及性能优化,助你构建企业级数据库高可用方案。
|
2月前
|
存储 关系型数据库 MySQL
修复.net Framework4.x连接MYSQL时遇到utf8mb3字符集不支持错误方案。
通过上述步骤大多数情况下能够解决由于UTF-encoding相关错误所带来影响,在实施过程当中要注意备份重要信息以防止意外发生造成无法挽回损失,并且逐一排查确认具体原因以采取针对性措施解除障碍。
179 12
|
3月前
|
SQL 关系型数据库 MySQL
解决MySQL "ONLY_FULL_GROUP_BY" 错误的方案
在实际操作中,应优先考虑修正查询,使之符合 `ONLY_FULL_GROUP_BY`模式的要求,从而既保持了查询的准确性,也避免了潜在的不一致和难以预测的结果。只有在完全理解查询的业务逻辑及其后果,并且需要临时解决问题的情况下,才选择修改SQL模式或使用 `ANY_VALUE()`等方法作为短期解决方案。
523 8
|
2月前
|
监控 NoSQL 关系型数据库
保障Redis与MySQL数据一致性的强化方案
在设计时,需要充分考虑到业务场景和系统复杂度,避免为了追求一致性而过度牺牲系统性能。保持简洁但有效的策略往往比采取过于复杂的方案更加实际。同时,各种方案都需要在实际业务场景中经过慎重评估和充分测试才可以投入生产环境。
151 0
|
3月前
|
关系型数据库 MySQL Java
MySQL 分库分表 + 平滑扩容方案 (秒懂+史上最全)
MySQL 分库分表 + 平滑扩容方案 (秒懂+史上最全)
|
8月前
|
SQL 关系型数据库 MySQL
如何实现 MySQL 的读写分离?
本文介绍了 MySQL 读写分离的实现方式及其主从复制原理,解释了如何通过主从架构提升读并发能力。重点分析了主从同步延时问题及解决方案,如半同步复制、并行复制等技术手段,并结合实际案例探讨了高并发场景下的优化策略。文章还提醒开发者在编写代码时需谨慎处理插入后立即查询的情况,避免因主从延时导致的数据不一致问题。
1023 44
如何实现 MySQL 的读写分离?
|
8月前
|
SQL 网络协议 关系型数据库
MySQL 主从复制
主从复制是 MySQL 实现数据冗余和高可用性的关键技术。主库通过 binlog 记录操作,从库异步获取并回放这些日志,确保数据一致性。搭建主从复制需满足:多个数据库实例、主库开启 binlog、不同 server_id、创建复制用户、从库恢复主库数据、配置复制信息并开启复制线程。通过 `change master to` 和 `start slave` 命令启动复制,使用 `show slave status` 检查同步状态。常见问题包括 IO 和 SQL 线程故障,可通过重置和重新配置解决。延时原因涉及主库写入延迟、DUMP 线程性能及从库 SQL 线程串行执行等,需优化配置或启用并行处理
216 40
|
8月前
|
关系型数据库 MySQL 数据库
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。
449 9
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
|
7月前
|
消息中间件 缓存 NoSQL
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)

推荐镜像

更多