OLTP应用之MySQL架构选型

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 在我们下定决心将企业核心应用从企业级数据库迁移到开源数据库产品、使用本地磁盘代替共享存储之前。我觉得我们必须要面对并回答以下几个问题之后才能真正的将开源进行到底,将想法付诸于实践。下面我们来看一下我们在将OLTP应用迁移到MySQL数据库之上之前,我们必须要回答的几个问题:(1)  ...
在我们下定决心将企业核心应用从企业级数据库迁移到开源数据库产品、使用本地磁盘代替共享存储之前。我觉得我们必须要面对并回答以下几个问题之后才能真正的将开源进行到底,将想法付诸于实践。下面我们来看一下我们在将OLTP应用迁移到MySQL数据库之上之前,我们必须要回答的几个问题:
(1)  允许在极端情况下备库接管服务后,数据存在暂时的不一致吗(主从架构下在主库 crash 后可能存在部分写操作没有及时同步的备库的问题)?
(2)  MySQL数据库在数据库故障时应用服务也将中断 3-30s ,这样的场景是否能够接受?
(3)  我们对数据库的可扩展性、吞吐能力、响应时间及用户体验是否有较高的要求?
只有回答了如上三个问题,以下3类OLTP类型的MySQL架构设计
方案,才能真正的具备可参考性与实际意义。下面我们来扒一扒笔者目前考虑到适合OLTP应用开源解决方案。
方案一、多主同步复制方案PXC
PXC,即Percona Xtradb Cluster,它采用Galera引擎,可以实现多个节点间的数据同步复制以及读写并且可保障数据库的服务高可用及数据一致性。其架构如下所示:

一、 PXC的优点
(1) 数据同步复制
(2) 多个可同时读写节点,但需要事先进行分库分表,让各个节点分别写不同的表或者库
(3) 可以保证数据严格一致性
(4) 适合读多写少的业务系统
二、 PXC的缺点
(1) 不支持XA事务
(2) 集群吞吐量/性能取决于响应最慢的节点,事务效率与主从架构相比低了不止一个数量级
(3) 需要调整
(4) 只支持InnoDB引擎
(5) 所有表都要有主键
(6) 不允许大事务产生
(7) 不支持LOCK TABLE等显式锁操作
(8) 存在写冲突,锁冲突、死锁问题较多,不能解决热点更新问题,可扩展性差
(9) 如果并发事务量很大的话,官方建议采用InfiniBand网络,降低因网络延迟带来的瓶颈
(10) 需要引入多个第三方插件,集成复杂度高
方案二、主从复制方案MHA
MHA即Master High Availability Manager and Tools for MySQL是一个MySQL高可用管理工具,目的在于维持Master主库的高可用性及数据的一致性。其最大特点是可以修复多个Slave之间的差异日志,最终使所有Slave保持数据一致,然后从中选择一个Slave数据库作为新的Master,并将其它Slave指向它。
   其架构如下,请参考:

一、 MHA的优点
1. 自动监控Master故障转移、故障后节点之间的数据同步
2. 不会有性能损耗,适用于任何存储引擎
3. 具备自动数据补偿能力,在主库异常崩溃时能够最大程度的保证数据的一致性
4. 可实现同城应用级别双活
二、 MHA的缺点
1. 如果主服务器硬件故障或无法通过ssh访问,进行故障转移可能导致丢失当前数据
2. 切换时间较长,整个切换时间大约需要9-12s
方案三、主主复制方案MM
利用MySQL原生支持主从单向复制、主主双向复制,该架构解决了主库单点及写瓶颈等问题。 其架构如下,请参考:

一、 MM架构优点
1. 支持快速切换,一般3s之内即可切换到备机
2. 配置管理简单、不需要第三方插件
二、 MM架构缺点
1. 如果数据库服务器硬件故障可能导致丢失当前操作数据
关于以上方案的总结
(一)对于PXC架构,其优点很多但缺点同时也非常的明显,其核心优势就是保证了各节点数据的一致性,劣势就是其在可扩展性、锁冲突、写扩大方面存在问题,PXC为了保证数据的一致性其要求每个节点都要将数据写入到磁盘才算完成,这样就存在一个效率问题。也就是说每个事务的响应时间依赖于整个集群最慢的节点,且其对网络质量要求非常高。另一个问题就是我们需要考虑清楚,我们的开源的方向在哪里?是跟着一个小众分支开源社区Percona,还是跟着主流MySQL官方开源社区发展的问题。
(二)对于MHA架构其优点就是通过MHA插件解决主库的单点问题及因主库挂掉后尽量保证接管的从库与宕机后的主库的数据一致性且数据的同步功能是原生的,其缺点就是在主库故障切换后不能保证数据零丢失,其实这里更准确的说法不应该是数据丢失应该主库与从库数据不一致。
在以下情况MHA可以保证接管后的节点与主库数据时一致性的:
(1) 在不发生硬件故障的情况下是可以从修复后的主库找回数据并由DBA手动补回备库,最终实现数据的一致性;
(2) 若只是数据库故障,MHA具备将所有已落实的数据自动同步到备库从而实现数据的零丢失;
(3) 直接使用MySQL的半同步机制,两阶段提交来保证数据的一致性,这个方法与PXC的实现方式相似
(三)对于MM双主架构其优缺点与MHA相似,都是采用MySQL原生的数据同步机制。不同之处就是MM架构在主故障时切换时间更短,缺点就是产生数据不一致的可能性更多一下。另外在MM架构中我们也可以尝试引入MHA数据补偿工具来尽量降低在主备切换时导致的数据不一致性问题或者直接使用MySQL的半同步机制来保证数据一致性。
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3天前
|
SQL 存储 关系型数据库
MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
本文从MySQL的架构原理出发,详细介绍其SQL查询的全过程,涵盖客户端发起SQL查询、服务端SQL接口、解析器、优化器、存储引擎及日志数据等内容。同时提供了MySQL常用的管理命令参数集,帮助读者深入了解MySQL的技术细节和优化方法。
|
21天前
|
监控 Go API
Go语言在微服务架构中的应用实践
在微服务架构的浪潮中,Go语言以其简洁、高效和并发处理能力脱颖而出,成为构建微服务的理想选择。本文将探讨Go语言在微服务架构中的应用实践,包括Go语言的特性如何适应微服务架构的需求,以及在实际开发中如何利用Go语言的特性来提高服务的性能和可维护性。我们将通过一个具体的案例分析,展示Go语言在微服务开发中的优势,并讨论在实际应用中可能遇到的挑战和解决方案。
|
21天前
|
网络协议 数据挖掘 5G
适用于金融和交易应用的低延迟网络:技术、架构与应用
适用于金融和交易应用的低延迟网络:技术、架构与应用
48 5
|
22天前
|
Go 数据处理 API
Go语言在微服务架构中的应用与优势
本文摘要采用问答形式,以期提供更直接的信息获取方式。 Q1: 为什么选择Go语言进行微服务开发? A1: Go语言的并发模型、简洁的语法和高效的编译速度使其成为微服务架构的理想选择。 Q2: Go语言在微服务架构中有哪些优势? A2: 主要优势包括高性能、高并发处理能力、简洁的代码和强大的标准库。 Q3: 文章将如何展示Go语言在微服务中的应用? A3: 通过对比其他语言和展示Go语言在实际项目中的应用案例,来说明其在微服务架构中的优势。
|
20天前
|
监控 持续交付 Docker
Docker 容器化部署在微服务架构中的应用有哪些?
Docker 容器化部署在微服务架构中的应用有哪些?
|
20天前
|
监控 持续交付 Docker
Docker容器化部署在微服务架构中的应用
Docker容器化部署在微服务架构中的应用
|
9天前
|
监控 持续交付 API
深入理解微服务架构及其在现代软件开发中的应用
深入理解微服务架构及其在现代软件开发中的应用
17 0
|
20天前
|
缓存 负载均衡 JavaScript
探索微服务架构下的API网关模式
【10月更文挑战第37天】在微服务架构的海洋中,API网关犹如一座灯塔,指引着服务的航向。它不仅是客户端请求的集散地,更是后端微服务的守门人。本文将深入探讨API网关的设计哲学、核心功能以及它在微服务生态中扮演的角色,同时通过实际代码示例,揭示如何实现一个高效、可靠的API网关。
|
18天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
19天前
|
Dubbo Java 应用服务中间件
服务架构的演进:从单体到微服务的探索之旅
随着企业业务的不断拓展和复杂度的提升,对软件系统架构的要求也日益严苛。传统的架构模式在应对现代业务场景时逐渐暴露出诸多局限性,于是服务架构开启了持续演变之路。从单体架构的简易便捷,到分布式架构的模块化解耦,再到微服务架构的精细化管理,企业对技术的选择变得至关重要,尤其是 Spring Cloud 和 Dubbo 等微服务技术的对比和应用,直接影响着项目的成败。 本篇文章会从服务架构的演进开始分析,探索从单体项目到微服务项目的演变过程。然后也会对目前常见的微服务技术进行对比,找到目前市面上所常用的技术给大家进行讲解。
38 1
服务架构的演进:从单体到微服务的探索之旅