老司机带你在MySQL领域“大吉大利,晚上吃鸡”

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 最近绝地求生这个游戏太火了,当我问我的朋友们你们闲时在干嘛,基本上告诉我的答案都是在"吃鸡"啊!想必很多老铁们也玩,那一定应该知道绝地求生中有把枪叫AWM。此枪伤害裸132点,爆头330,即使三级头爆头必死,无防弹衣或者防弹衣有破损,一枪死。

最近绝地求生这个游戏太火了,当我问我的朋友们你们闲时在干嘛,基本上告诉我的答案都是在"吃鸡"啊!想必很多老铁们也玩,那一定应该知道绝地求生中有把枪叫AWM。此枪伤害裸132点,爆头330,即使三级头爆头必死,无防弹衣或者防弹衣有破损,一枪死。是这个游戏中威力最大的狙击×××,足足是98K的两倍。

那么在MySQL领域有没有这么一把威力超大的“枪”呢~答案是必须有啊!但老张先问你们一个问题。

请问你搭建MySQL复制的时候,还在执行备份恢复,在从库进行change master to的操作嘛?如果是那你可就真的落后了。

本章介绍MySQL官方推荐的一款高可用集群方案MySQL Group Replication。简称:MGR(组复制)。它是官方推出的一种基于Paxos协议的状态机复制,彻底解决了基于传统的异步复制和半同步复制中数据一致性问题无法保证的情况。也让MySQL数据库涉及的领域更广,彻底拥有了打开互联网金融行业的大门。

2016年12月 MySQL Group Replication推出了第一个GA版本发布在MySQL5.7.17中。但目前直接投入到生产环境中使用,风险还是比较大。建议等其越来越成熟之后,我们再真正投入使用。

随着MySQL8.0版本即将与我们见面,再配合官方逐渐成熟的高可用集群 Group Replication方案,到那时再看看谁还是我们MySQL的对手,全都不在了!MySQL数据库就是作者的信仰,爱你无怨无悔。

MGR组复制原理

先来谈谈什么叫做组复制。组复制是一种可用于实现容错系统的技术。复制组是一个通过消息传递相互交互的server集群。复制组由多个server成员组成,如下图的master1,master2,master3,所有成员独立完成各自的事务。当客户端先发起一个更新事务,该事务先在本地执行,执行完成之后就要发起对事务的提交操作了。
在还没有真正提交之前需要将产生的复制写集广播出去,复制到其他成员。如果冲突检测成功,组内决定该事务可以提交,其他成员可以应用,否则就回滚。最终,这意味着所有组内成员以相同的顺序接收同一组事务。因此组内成员以相同的顺序应用相同的修改,保证组内数据强一致性。

image

MGR组复制模式

组复制可以在两种模式下运行。 在单主模式下,组复制具有自动选主功能,每次只有一个 server 成员接受更新,其他成员只提供读服务。在多主模式下运行时,所有的 server 成员都可以同时接受更新,没有主从之分,成员角色是完全对等的。 组复制默认情况下是单主模式,我们可以通过设置参数group_replication_single_primary_mode=off,让其变成多主模式。本章的实战部分就是以多主模式进行MGR复制的搭建。

MGR特性介绍

完成了真正的多节点读写的集群方案。

基于原生复制及paxos协议的组复制技术,并以插件的方式提供,实现了数据的强一致性

由于是多节点读写,failover切换变得更加简单

增加删除节点,自动完成同步数据和更新组内信息的操作。扩展性地增强
虽然在MGR的多主模式下,受到不能支持串行隔离级别和不支持外键级联操作的限制条件。而且目前MySQL版本中对DDL语句操作无法实现回滚,导致MGR无法对DDL语句做数据冲突检验,所以DDL语句在MGR中并发执行存在隐患。但这些都不能阻挡MGR的发布所带来的开创新时代的意义。让我们一起期待这个追求极致完美的MySQL数据库,未来更加璀璨夺目。

MGR搭建实战演练

环境介绍:这里我们准备三个节点,数据库半版本使用 MySQL5.7.17

数据库IP地址 数据库版本信息 主机名 Server-id

192.168.56.101 MySQL-5.7.17 node2 1013306
192.168.56.102 MySQL-5.7.17 node3 1023306
192.168.56.103 MySQL-5.7.17 proxysql 1033306
实战第1步:
在三个节点上执行安装MySQL5.7操作。(此步省略,详情请见书中第一部分第二章)
实战第2步:
在三个节点上分别设置 hostname 和 ip 地址的映射关系

image


实战第3步:
在三个节点上分别创建复制账号,命令如下

GRANT REPLICATION SLAVE ON . TO 'repl'@'192.168.56.%' IDENTIFIED BY '123456';

实战第4步:
在三个节点上分别安装GR插件,命令如下

INSTALL PLUGIN group_replication SONAME 'group_replication.so';
组件安装完成之后,展示结果:

root@db 13:23: [(none)]> show plugins;

image

实战第5步:
在三个节点分别配置各自的集群参数文件,配置完成之后重启数据库
192.168.56.101参数文件配置展示:(剩下两个节点同理)

Group Replication

server_id = 1013306gtid_mode = ONenforce_gtid_consistency = ONmaster_info_repository = TABLErelay_log_info_repository = TABLEbinlog_checksum = NONElog_slave_updates = ONlog_bin = binlogbinlog_format= ROWtransaction_write_set_extraction = XXHASH64loose-group_replication_group_name = '1f2cee29-f9a2-11e7-8cbb-08002783b39d'loose-group_replication_start_on_boot = offloose-group_replication_local_address = 'node2:33061'loose-group_replication_group_seeds ='node2:33061,node3:33062,proxysql:33063'loose-group_replication_bootstrap_group = offloose-group_replication_single_primary_mode=off loose-group_replication_enforce_update_everywhere_checks=true

重点参数详解

MGR一定要开启GTID功能gtid_mode = ON,enforce_gtid_consistency = ON
MGR在当前MySQL版本中,必须要设置binlog_checksum=none,并且binlog_format=row
MGR需要多源复制功能,所以需要将主从库之间的信息记录到表中。设置master_info_repository = TABLE和relay_log_info_repository = TABLE
MGR中开启主键信息采集功能:transaction_write_set_extraction= XXHASH64
MGR中把该参数group_replication_single_primary_mode关闭目的是搭建多主模式。如果搭建单主模型,保持默认参数即可。
MGR中需要设置组的名字,该group_replication_group_name是通过select uuid()来生成的。
MGR中本地成员的地址由该参数group_replication_local_address决定,本例中当前节点是node2。后面的端口是每个节点都需要一个独立的tcp端口号,节点之间通过这个端口号进行通信。
MGR中其他成员的地址由这个参数group_replication_group_seeds决定
MGR采取多主模式时,需要让该参数group_replication_single_primary_mode=off(默认是单主模式)。
于此同时需要将该参数group_replication_enforce_update_everywhere_checks=true。目的是为了做多主模式限制检测。
注:加载到参数文件里面,需要在每个参数的前面加loose。
这里再强调一个参数group_replication_auto_increment_increment。该参数代表自增属性,默认值为7。我们要保证每个成员的该值相同,并且建议该参数的设置尽量比组内成员的个数大一些,方便后期集群的扩展。

实战第6步:
在192.168.56.101上启动首个节点的MGR集群服务。命令如下:

CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='123456' FOR CHANNEL 'group_replication_recovery'
(MGR需要该异步复制通道,实现新节点加入集群自动从其他节点复制数据的目的,不需要手工指定从哪个节点复制,master_host和master_port信息。都是自动完成)
SET GLOBAL group_replication_bootstrap_group = ON;
(执行初始化操作,只有首个节点需要这一步操作)
START GROUP_REPLICATION;
启动成功之后,查看节点状态信息。命令如下

SELECT * FROM performance_schema.replication_group_members;
关闭初始化操作 命令如下:

SET GLOBAL group_replication_bootstrap_group = off;
注:replication_group_members表中MEMBER_STATE字段状态为ONLINE,再执行关闭初始化命令。

image

实战第7步:
在192.168.56.102上面启动第二个节点的mgr集群服务。命令如下

CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='123456' FOR CHANNEL 'group_replication_recovery';set global group_replication_allow_local_disjoint_gtids_join=ON; START GROUP_REPLICATION;
启动成功之后,查看节点状态信息。命令如下

SELECT * FROM performance_schema.replication_group_members;

image

实战第8步:
在192.168.56.103上面启动第三个节点的mgr集群服务。命令如下

CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='123456' FOR CHANNEL 'group_replication_recovery';set global group_replication_allow_local_disjoint_gtids_join=ON; START GROUP_REPLICATION;
启动成功之后,查看节点状态信息。命令如下:

SELECT * FROM performance_schema.replication_group_members;
可见启动成功之后,三个成员的状态都是ONLINE,证明已经开始正常工作了。真正可以实现多节点的读写操作了。

以上就是对于MGR多主模式的原理介绍及其搭建过程。我们要有一种学习新知识的能力,多实操,多演练,从中得到其真谛,感受MySQL给我们带来的简单快乐!今后还会多发布更多技术的文章,大家多沟通交流!

原文发布时间为:2018-06-28
本文作者:张甦
本文来自云栖社区合作伙伴“数据和云”,了解相关信息可以关注“数据和云”。

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3天前
|
SQL 缓存 关系型数据库
下次老板问你MySQL如何优化时,你可以这样说,老板默默给你加工资
【5月更文挑战第20天】下次老板问你MySQL如何优化时,你可以这样说,老板默默给你加工资
24 3
|
10月前
|
程序员 开发工具 开发者
以为是使用电脑的老手,没想到吃了没备份数据的亏。
以为是使用电脑的老手,没想到吃了没备份数据的亏。
|
安全 NoSQL 前端开发
老板说我最近飘了,都敢用 MySQL 实现分布式锁了
以前参加过一个库存系统,由于其业务复杂性,搞了很多个应用来支撑。这样的话一份库存数据就有可能同时有多个应用来修改库存数据。比如说,有定时任务域xx.cron,和SystemA域和SystemB域这几个JAVA应用,可能同时修改同一份库存数据。如果不做协调的话,就会有脏数据出现。对于跨JAVA进程的线程协调,可以借助外部环境,例如DB或者Redis。 下文介绍一下如何使用DB来实现分布式锁。
有一次小明传数据给我,把我弄哭了
某天小明处理的一些数据需要传给我这边处理,于是小明在我们的传输媒介上面新增了一个 Map 用于保存这些数据,数据结构如下:
103 0
|
前端开发 JavaScript 应用服务中间件
吃灰的云主机不要忘,部署个人博客,隔壁开发都馋哭了(中)
笔者置办个人博客的技术选型: 简洁:界面简洁,排版合理,不需要花里花哨; 简单:上手简单,开箱即用,输出文章即可,无需过于关注实现细节; 快:加载快,性能高效,移动端适配(地铁上也可以康康);
165 0
|
域名解析 Java 应用服务中间件
吃灰的云主机不要忘,部署个人博客,隔壁开发都馋哭了(下)
笔者置办个人博客的技术选型: 简洁:界面简洁,排版合理,不需要花里花哨; 简单:上手简单,开箱即用,输出文章即可,无需过于关注实现细节; 快:加载快,性能高效,移动端适配(地铁上也可以康康);
177 0
|
域名解析 缓存 JavaScript
吃灰的云主机不要忘,部署个人博客,隔壁开发都馋哭了(上)
笔者置办个人博客的技术选型: 简洁:界面简洁,排版合理,不需要花里花哨; 简单:上手简单,开箱即用,输出文章即可,无需过于关注实现细节; 快:加载快,性能高效,移动端适配(地铁上也可以康康);
171 0
|
关系型数据库 MySQL 数据库
好险!一入职就遇到MySQL这么大Bug!差点背锅走人!
好险!一入职就遇到MySQL这么大Bug!差点背锅走人!
110 0
好险!一入职就遇到MySQL这么大Bug!差点背锅走人!
|
存储 算法 关系型数据库
没学好数据库的程序员,真的混不到饭吃么?
以下文章来源于SegmentFault ,作者徐九
2387 0
没学好数据库的程序员,真的混不到饭吃么?
|
双11
神仙在双11晚上,都干了些啥?
11月,阿里巴巴西溪园区夜凉如水,双11作战室内,却有人身着短袖衬衫,只见她屏住呼吸,握紧微微出汗的手心,静静立于数字大屏前,等待今年最重要的一个数据。
3498 0

热门文章

最新文章