MySQL 组复制介绍

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
数据安全中心,免费版
简介:

一、组复制是个什么鬼?

先从 MySQL 的复制技术谈起,首先是 MySQL 的异步复制


异步复制模式下,Master上执行事务产生 binlog,slave 通过连接 master 抓取 binlog 的内容接收到本地的 relaylog 上,然后 apply 对应的事务,产生 slave 服务器上自身的 binlog(由--log-slave-update 参数决定)。流程图如下:

wKiom1ncx66hMuokAACG2H52LDo342.png-wh_50


其次是半同步复制,流程图如下

wKioL1ncWOLgYbl3AACdXyu_EjQ091.png-wh_50


异步复制模式下,如果 slave 全部宕机,则在 master 上的事务无法同步到 slave 上,存在一定的数据安全风险。


半同步复制解决了数据安全风险的问题,在半同步环境下要求至少有一台 slave 接收到 master 的binlog并成功写入到本地的 relaylog, master 上的事务才可以成功提交,这样对主库的事务提交速度会产生一定影响,半同步在数据安全和数据库性能两者之间做了一个中和。


在实际使用过程中,可以通过配置参数(rpl_semi_sync_master_timeout 单位是毫秒,默认为10000,即10s)设定若 slave 在多长时间没有ack返回,同步模式由半同步自动修改为异步同步模式。(mysql半同步工作原理和oracle dataguard的最大保护模式雷同) 

 

组复制分单主模式和多主模式,mysql 的复制技术仅解决了数据同步的问题,如果 master 宕机,意味着数据库管理员需要介入,应用系统可能需要修改数据库连接地址或者重启才能实现。(这里也可以使用数据库中间件产品来避免应用系统数据库连接的问题,例如 mycat 和 atlas 等产品)。组复制在数据库层面上做到了,只要集群中大多数主机可用,则服务可用,也就是说3台服务器的集群,允许其中1台宕机。组复制的流程图如下:


wKiom1ncyDfyt02-AAC85vX37TI026.png-wh_50

wKioL1ncWSqCRYmxAAFVucBImYw529.png-wh_50


wKiom1ncyDjgRA8TAAFOIQfZiNg273.png-wh_50


组复制的特点:

● 高一致性

基于原生复制及 paxos 协议的组复制技术,并以插件的方式提供,提供一致数据安全保证;


● 高容错性

只要不是大多数节点坏掉就可以继续工作,有自动检测机制,当不同节点产生资源争用冲突时,不会出现错误,按照先到者优先原则进行处理,并且内置了自动化脑裂防护机制;


● 高扩展性

节点的新增和移除都是自动的,新节点加入后,会自动从其他节点上同步状态,直到新节点和其他节点保持一致,如果某节点被移除了,其他节点自动更新组信息,自动维护新的组信息;


● 高灵活性

有单主模式和多主模式,单主模式下,会自动选主,所有更新操作都在主上进行;

多主模式下,所有 server 都可以同时处理更新操作。


二、什么样的应用场景适合用组复制?

1、弹性的数据库复制环境

组复制可以灵活的增加和减少集群中的数据库实例


2、高可用的数据库环境

组复制允许数据库实例宕机,只要集群中大多数服务器可用,则整个数据库服务可用

 

3、替代传统主从复制结构的数据库环境 

 

三、组复制的有哪些先决条件?

1、只支持innodb存储引擎

2、每张表都需要有主键

3、只支持ipv4网络环境

4、要求高网络带宽(通常是千兆内网)和低网络延迟

 

以下的参数在mysql数据库实例上必须要配置

1、--log-bin=bin-log     #记录mysql的binlog

2、--log-slave-update    #记录slave上进行apply relay-log时的binlog

3、--binlog-format=row  #binlog的格式为行模式

4、--gtid-mode=on      #开启gtid模式

5、--master-info-repository=TABLE   #将master-info信息记录到mysql表当中

6、--relay-log-info-repository=TABLE  #将relay-log信息记录到mysql表当中

7、--transaction-write-set-extraction=XXHASH64  #每个事务收集的wirte set和encode使用xxhash64哈希算法

8、开启多线程复制

--slave-parallel-workers=N  #N为具体的复制线程个数

--slave-preserve-commit-order=1 #slave上apply relay-log时事务顺序提交

--slave-parallel-type=LOGICAL_CLOCK  #使用多线程复制

 

四、组复制有哪些限制条件?

1、Replication Event Checksums

由于代码设计的原因,目前组复制还不能支持binlog的checksum,如果要使用组复制,需要配置binlog-checksum=none 


2、Gap Locks

组复制校验的进程不支持间隙锁,mysql间隙锁的设计是为了解决幻读问题 


3、Table Locks and Named Locks

组复制校验的进程不支持表级锁和named locks 


4、SERIALIZABLE Isolation Level

组复制不支持串行事务级别 


5、Concurrent DDL versus DML Operations

组复制的多主模式不支持并行的DDL和DML操作 


6、Foreign Keys with Cascading Constraints

组复制的多主模式不支持带有级联约束类型的外键 


7、Very Large Transactions

组复制不支持巨大的事务

 

参考:

https://dev.mysql.com/doc/refman/5.7/en/group-replication.html

本文转自斩月博客51CTO博客,原文链接http://blog.51cto.com/ylw6006/1971139如需转载请自行联系原作者


ylw6006

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
SQL 关系型数据库 MySQL
面试官:说一下MySQL主从复制的原理?
面试官:说一下MySQL主从复制的原理?
172 0
面试官:说一下MySQL主从复制的原理?
|
SQL 存储 关系型数据库
MySQL主从复制之原理&一主一从部署流程—2023.04
MySQL主从复制之原理&一主一从部署流程—2023.04
423 0
|
6月前
|
SQL 关系型数据库 MySQL
MySQL中主从复制的原理和配置命令
要原因包括提高性能、实现高可用性、数据备份和灾难恢复。了解两大线程( I/O 和 SQL)I/O线程:目的:I/O线程主要负责与MySQL服务器之外的其他MySQL服务器进行通信,以便复制(replication)数据。 功能: 当一个MySQL服务器作为主服务器(master)时,I/O线程会将变更日志(binary log)中的事件传输给从服务器(slave)。从服务器上的I/O线程负责接收主服务器的二进制日志,并将这些事件写入本地的中继日志(relay log)。 配置: 在MySQL配置文件中,你可以通过配置参数如和来启用二进制日志和指定服务器ID。log-bin server
135 1
MySQL中主从复制的原理和配置命令
|
16天前
|
存储 关系型数据库 MySQL
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法,详细讲解了一主两从的架构设计,以及三种常见的复制模式(全同步、异步、半同步)的特点与适用场景。此外,文章还提供了Spring Boot环境下配置主从复制的具体代码示例,包括数据源配置、上下文切换、路由实现及切面编程等内容,帮助读者理解如何在实际项目中实现数据库的读写分离。
MySQL主从复制原理和使用
|
16天前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置
|
3月前
|
SQL 关系型数据库 MySQL
说一下MySQL主从复制的原理?
【8月更文挑战第24天】说一下MySQL主从复制的原理?
60 0
|
3月前
|
SQL canal 关系型数据库
(二十四)全解MySQL之主从篇:死磕主从复制中数据同步原理与优化
兜兜转转,经过《全解MySQL专栏》前面二十多篇的内容讲解后,基本对MySQL单机模式下的各方面进阶知识做了详细阐述,同时在前面的《分库分表概念篇》、《分库分表隐患篇》两章中也首次提到了数据库的一些高可用方案,但前两章大多属于方法论,并未涵盖真正的实操过程。接下来的内容,会以目前这章作为分割点,开启MySQL高可用方案的落地实践分享的新章程!
1535 1
|
6月前
|
关系型数据库 MySQL Linux
【mysql】MySql主从复制,从原理到实践!
【mysql】MySql主从复制,从原理到实践!
184 0
|
6月前
|
SQL 容灾 关系型数据库
MySQL 主从复制原理
MySQL 主从复制原理
75 1
MySQL 主从复制原理
|
SQL 关系型数据库 MySQL
MySql主从复制原理及其搭建
MySql主从复制原理及其搭建
下一篇
无影云桌面