MySQL-双主高可用

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
传统型负载均衡 CLB,每月750个小时 15LCU
简介: MySQL-双主高可用

       生产环境中一台mysql主机存在单点故障,所以我们要确保mysql的高可用性,即两台MySQL服务器如果其中有一台MySQL服务器挂掉后,另外一台能立马接替其进行工作。 MySQL的高可用方案一般有如下几种:keepalived+双主,MHA,PXC,MMM,Heartbeat+DRBD等,比较常用的是keepalived+双主,MHA和PXC。本节主要介绍了利用 keepalived 实现 MySQL 数据库的高可用。 Keepalived+mysql双主来实现MySQL-HA,我们必须保证两台MySQL数据库的数据完全一样,基本思路是两台MySQL互为主从关系,通过Keepalived配置虚拟IP,实现当其中的一台MySQL数据库宕机后,应用能够自动切换到另外一台MySQL数据库,保证系统的高可用。

拓扑环境

       打开三台MySQL服务器,8.1为测试机,8.2和8.3先配置双主,而后安装keepalived实现高可用。

配置两台MySQL主主同步

       该过程的第一部分就是master记录二进制日志,在每个事务更新数据完成之前,master在二日志记录这些改变。MySQL将事务写入二进制日志,在事件写入二进制日志完成后,master通知存储引擎提交事务。 下一步就是slave将master的binary log拷贝到它自己的中继日志。首先,slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接,然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件,如果已经同步了master,它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志, SQL slave thread(SQL从线程)处理该过程的最后一步。SQL线程从中继日志读取事件,并重放其中的事件而更新slave的数据,使其与master中的数据一致。只要该线程与I/O线程保持一致,中继日志通常会位于OS的缓存中,所以中继日志的开销很小。 主主同步就是两台机器互为主的关系,在任何一台机器上写入都会同步。 若mysql主机开启了防火墙,需要关闭防火墙或创建规则。

修改MySQL配置文件

       两台MySQL均要开启binlog日志功能,开启方法:在MySQL配置文件[MySQLd]段中加上log-bin=MySQL-bin选项,两台MySQL的server-ID不能一样,默认情况下两台MySQL的serverID都是1,需将其中一台修改为2即可。

1、master中有关复制的配置如下:

1. [root@master ~]# vim /etc/my.cnf 
2. #添加下面内容
3. log-bin=mysql-bin
4. binlog_format=mixed
5. server_id=1
6. relay-log=relay-bin
7. relay-log-index=slave-relay-bin.index
8. auto-increment-increment=2
9. auto-increment-offset=1
10. [root@master ~]# service mysqld restart
11. Shutting down MySQL..                                      [  确定  ]
12. Starting MySQL.                                            [  确定  ]

2、 slave中有关复制的配置如下:

1. [root@slave ~]# vim /etc/my.cnf
2. #添加下面内容
3. log-bin=mysql-bin
4. binlog_format=mixed
5. server_id=2
6. relay-log=relay-bin
7. relay-log-index=slave-relay-bin.index
8. auto-increment-increment=2
9. auto-increment-offset=2
10. [root@slave ~]# service mysqld restart
11. Shutting down MySQL..                                      [  确定  ]
12. Starting MySQL.....                                        [  确定  ]

       注意:master和slave只有server-id不同和 auto-increment-offset不同。mysql中有自增长字段,在做数据库的主主同步时需要设置自增长的两个相关配置:auto_increment_offset和auto_increment_increment。 auto-increment-increment表示自增长字段每次递增的量,其默认值是1。它的值应设为整个结构中服务器的总数,本案例用到两台服务器,所以值设为2(可以理解为有几台服务器做集群就设为几)。 auto-increment-offset是用来设定数据库中自动增长的起点(即初始值),因为这两能服务器都设定了一次自动增长值2,所以它们的起点必须得不同,这样才能避免两台服务器数据同步时出现主键冲突,注:可以在my.cnf文件中添加“binlog_do_db=数据库名”配置项(可以添加多个)来指定要同步的数据库。

配置主从关系

1、将master设为slave的主服务器

在master主机上创建授权账户,允许在slave(192.168.8.3)主机上连接。

1. [root@master ~]# mysql -uroot -p123
2. #省略登录信息
3. mysql> grant replication slave on *.* to rep@'192.168.8.%' identified by '123';
4. Query OK, 0 rows affected, 1 warning (0.00 sec)
5. 
6. mysql> flush privileges;
7. Query OK, 0 rows affected (0.00 sec)

2、查看master的当前binlog状态信息

1. mysql> show master status;
2. +------------------+----------+--------------+------------------+-------------------+
3. | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
4. +------------------+----------+--------------+------------------+-------------------+
5. | mysql-bin.000001 |      608 |              |                  |                   |
6. +------------------+----------+--------------+------------------+-------------------+
7. 1 row in set (0.00 sec)

3、在slave上将master设为自已的主服务器并开启slave功能。

1. [root@slave ~]# mysql -uroot -p123
2. #省略登录信息
3. mysql> change master to
4.     -> master_host='192.168.8.2',
5.     -> master_user='rep',
6.     -> master_password='123',
7.     -> master_log_file='mysql-bin.000001',
8.     -> master_log_pos=608;
9. Query OK, 0 rows affected, 2 warnings (0.01 sec)
10. 
11. mysql> start slave;
12. Query OK, 0 rows affected (0.01 sec)

4、设置master防火墙

模拟环境中关闭防火墙即可,生产环境中需要配置防火墙策略,允许3306端口。

1. [root@master ~]# firewall-cmd --permanent --add-port=3306/tcp
2. success
3. [root@master ~]# firewall-cmd --add-port=3306/tcp
4. success

       此刻查看8.3的状态,show slave status\G;以下两个值必须为yes,代表从服务器能正常连接主服务器。

5、将slave设为master的主服务器

在slave主机上创建授权账户,允许在master1(192.168.8.2)主机上连接

1. mysql> grant replication slave on *.* to rep@'192.168.8.%' identified by '123';
2. Query OK, 0 rows affected, 1 warning (0.02 sec)
3. 
4. mysql> flush privileges;
5. Query OK, 0 rows affected (0.01 sec)

6、查看slave的当前binlog状态信息

1. mysql> show master status;
2. +------------------+----------+--------------+------------------+-------------------+
3. | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
4. +------------------+----------+--------------+------------------+-------------------+
5. | mysql-bin.000001 |      608 |              |                  |                   |
6. +------------------+----------+--------------+------------------+-------------------+
7. 1 row in set (0.00 sec)

7、在master上将slave设为自已的主服务器并开启slave功能。

1. [root@master ~]# mysql -uroot -p123
2. #省略登录信息
3. mysql> change master to
4.     -> master_host='192.168.8.3',
5.     -> master_user='rep',
6.     -> master_password='123',
7.     -> master_log_file='mysql-bin.000001',
8.     -> master_log_pos=608;
9. Query OK, 0 rows affected, 2 warnings (0.03 sec)
10. 
11. mysql> start slave;
12. Query OK, 0 rows affected (0.00 sec)

8、设置slave防火墙

1. [root@slave ~]# firewall-cmd --permanent --add-port=3306/tcp
2. success
3. [root@slave ~]# firewall-cmd --add-port=3306/tcp
4. success

查看8.2的状态,以下两个值必须为yes,代表从服务器能正常连接主服务器

测试主主同步

1、在master上创建要同步的数据库如bbs,并在bbs中创建一张测试表如tb1

1. mysql> create database bbs character set utf8;
2. Query OK, 1 row affected (0.01 sec)
3. 
4. mysql> use bbs;
5. Database changed
6. mysql> create table tb1(
7.     -> id int,
8.     -> name varchar(20));
9. Query OK, 0 rows affected (0.02 sec)

2、查看master2主机是否同步了master1上的数据变化

1. mysql> show databases;
2. +--------------------+
3. | Database           |
4. +--------------------+
5. | information_schema |
6. | bbs                |
7. | mysql              |
8. | performance_schema |
9. | sys                |
10. +--------------------+
11. 5 rows in set (0.02 sec)
12. 
13. mysql> use bbs;
14. Reading table information for completion of table and column names
15. You can turn off this feature to get a quicker startup with -A
16. 
17. Database changed
18. mysql> show tables;
19. +---------------+
20. | Tables_in_bbs |
21. +---------------+
22. | tb1           |
23. +---------------+
24. 1 row in set (0.00 sec)

3、从上面可以看出slave同步了master的数据变化,测试在slave主机上向tb1表中插入数据

1. mysql> insert into tb1 values(1,'z3'),(2,'l4');
2. Query OK, 2 rows affected (0.01 sec)
3. Records: 2  Duplicates: 0  Warnings: 0

4、查看master主机是否同步了slave上的数据变化

1. mysql> select * from tb1;
2. +------+------+
3. | id   | name |
4. +------+------+
5. |    1 | z3   |
6. |    2 | l4   |
7. +------+------+
8. 2 rows in set (0.01 sec)

       通过查看master可以看到slave更新的数据,现在在任何一台mysql上更新数据都会同步到另一台mysql中,双主同步完成。

       注意:若主MYSQL服务器已经存在,只是后期才搭建从MYSQL服务器,在置配数据同步前应先将主MYSQL服务器的要同步的数据库拷贝到从MYSQL服务器上(如先在主MYSQL上备份数据库,再用备份在从MYSQL服务器上恢复)

keepalived高可用

       keepalived是集群管理中保证集群高可用的一个软件解决方案,其功能类似于heartbeat,用来防止单点故障 keepalived是以VRRP协议为实现基础的,VRRP全称Virtual RouterRedundancy Protocol,即虚拟路由冗余协议。 虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个对外提供服务的vip,master会发组播(组播地址为224.0.0.18),当backup收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。keepalived主要有三个模块,分别是core 、check和vrrp。core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查,包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

keepalived的安装配置

1、在master和slave上安装软件包keepalived与服务控制

       在编译安装Keepalived之前,必须先安装内核开发包kernel-devel以及openssl-devel、popt-devel等支持库。

1. [root@master ~]# wget https://www.keepalived.org/software/keepalived-2.0.20.tar.gz
2. [root@master ~]# yum -y install kernel-devel openssl-devel popt-devel

若没有安装则通过rpm或yum工具进行安装 编译安装Keepalived

1. [root@master ~]# tar zxf keepalived-2.0.20.tar.gz 
2. [root@master ~]# cd keepalived-2.0.20/
3. [root@master keepalived-2.0.20]# ./configure --prefix=/ && make && make install

       注意:如不知道keepalived需要哪些依赖包,可到下载后的源码解压目录下查看INSTALL 文件内容, 执行makeinstall操作之后,会自动生成/etc/init.d/keepalived脚本文件,但还需要手动添加为系统服务,这样就可以使用service、chkconfig工具来对keepalived服务程序进行管理了。

slave主机也完成keepalived安装,与master一样,安装过程略,两台mysql如果开启防火墙需要添加防火墙规则.

1. [root@slave ~]# firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --in-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
2. success
3. [root@slave ~]# firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
4. success
5. [root@slave ~]# firewall-cmd --reload
6. success

2、修改Keepalived的配置文件

       keepalived只有一个配置文件keepalived.conf,里面主要包括以下几个配置区域,分别是global_defs、vrrp_instance和virtual_server。 global_defs:主要是配置故障发生时的通知对象以及机器标识。 vrrp_instance:用来定义对外提供服务的VIP区域及其相关属性。 virtual_server:虚拟服务器定义

keepalived.conf文件解释如下:

1. ! Configuration File for keepalived                                 #!表示注释
2. 
3. global_defs {
4.    router_id LVS_DEVEL                                              #router_id名称(唯一)
5. }
6. 
7. vrrp_instance VI_1 {
8.     state MASTER        #指定keepalived的角色, (分别为MASTER|BACKUP)本次实验两台配置均是BACKUP,设为BACKUP将根据优先级决定主或从
9.     interface eth0                                                  #指定HA监测网络的接口
10.     virtual_router_id 51                                            #虚拟路由标识,这个标识是一个数字(取值在0-255之间,用来区分多个instance的VRRP组播),同一个vrrp实例使用唯一的标识,确保和slave相同,同网内不同集群此项必须不同,否则发生冲突。
11.     priority 100                                                    #用来选举master的,要成为master,该项取值范围是1-255(在此范围之外会被识别成默认值100),此处slave上设置为50
12.     advert_int 1                                    #发VRRP包的时间间隔,即多久进行一次master选举(可以认为是健康查检时间间隔)
13.     nopreempt                                       #不抢占,即允许一个priority比较低的节点作为master,即使有priority更高的节点启动
14.     authentication {                                #认证区域,认证类型有PASS和HA(IPSEC),推荐使用PASS(密码只识别前8位)
15.         auth_type PASS
16.         auth_pass 1111
17.     }
18.     virtual_ipaddress {                             #VIP区域,指定vip地址
19.         192.168.200.16
20.         192.168.200.17
21.         192.168.200.18
22.     }
23. }
24. 
25. virtual_server 192.168.200.100 443 {                #设置虚拟服务器,需要指定虚拟IP地址和服务端口,IP与端口之间用空格隔开
26.     delay_loop 6                                    #设置运行情况检查时间,单位是秒
27.     lb_algo rr                                      #设置后端调度算法,这里设置为rr,即轮询算法
28.     lb_kind NAT                                     #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
29.     persistence_timeout 50                          #会话保持时间,单位是秒。这个选项对动态网页是非常有用的,为集群系统中的session共享提供了一个很好的解决方案。有了这个会话保持功能,用户的请求会被一直分发到某个服务节点,直到超过这个会话的保持时间。
30.     protocol TCP                                    #指定转发协议类型,有TCP和UDP两种
31. 
32.     real_server 192.168.201.100 443 {               #配置服务节点1,需要指定real server的真实IP地址和端口,IP与端口之间用空格隔开注(即本机ip)
33.         weight 1                                    #配置服务节点的权值,权值大小用数字表示,数字越大,权值越高,设置权值大小为了区分不同性能的服务器
34.         notify_down /etc/keepalived/bin/mysql.sh    #检测到realserver的mysql服务down后执行的脚本
35.         TCP_CHECK {
36.              connect_timeout 3                      #连接超时时间
37.              nb_get_retry 3                         #重连次数
38.              delay_before_retry 3                   #重连间隔时间
39.              connect_port 3306                      #健康检查端口
40.         }
41.     }
42. }

master配置

master主机配置修改如下:(其他没用的节点推荐删掉)

1. [root@master ~]# vim /etc/keepalived/keepalived.conf 
2. ! Configuration File for keepalived
3. 
4. global_defs {
5.    router_id lb1
6. }
7. 
8. vrrp_instance VI_1 {
9.     state BACKUP
10.     interface ens33
11.     virtual_router_id 51
12.     nopreempt
13.     priority 100
14.     advert_int 1
15.     authentication {
16.         auth_type PASS
17.         auth_pass 1111
18.     }
19.     virtual_ipaddress {
20.         192.168.8.100
21.     }
22. }
23. 
24. virtual_server 192.168.8.100 3306 {
25.     delay_loop 6
26.     lb_algo rr
27.     lb_kind DR
28.     persistence_timeout 50
29.     protocol TCP
30.     real_server 192.168.8.2 3306 {
31.         weight 1
32.         notify_down /etc/keepalived/bin/mysql.sh
33.         TCP_CHECK {
34.             connect_port 3306
35.             connect_timeout 3
36.             retry 3
37.             delay_before_retry 3
38.         }
39.     }
40. }
41. [root@master ~]# systemctl start keepalived
42. [root@master ~]# mkdir /etc/keepalived/bin
43. [root@master ~]# vim /etc/keepalived/bin/mysql.sh       #创建脚本文件
44. #!/bin/bash
45. pkill keepalived

slave配置

       slave主机上的keepalived.conf文件的修改: 可以使用scp命令把master主机上配置好的keepalived.conf文件拷贝到slave主机,只要做简单修改即可,如下所示:

1. [root@master ~]# scp /etc/keepalived/keepalived.conf root@192.168.8.3:/etc/keepalived/
2. #省略传输过程
3. [root@slave ~]# vim /etc/keepalived/keepalived.conf 
4. ! Configuration File for keepalived
5. 
6. global_defs {
7.    router_id lb2                        #修改
8. }
9. 
10. vrrp_instance VI_1 {
11.     state BACKUP
12.     interface ens33
13.     nopreempt
14.     virtual_router_id 51
15.     priority 50                         #修改
16.     advert_int 1
17.     authentication {
18.         auth_type PASS
19.         auth_pass 1111
20.     }
21.     virtual_ipaddress {
22.         192.168.8.100
23.     }
24. }
25. 
26. virtual_server 192.168.8.100 3306 {
27.     delay_loop 6
28.     lb_algo rr
29.     lb_kind DR
30.     persistence_timeout 50
31.     protocol TCP
32. 
33.     real_server 192.168.8.3 3306 {                      #修改
34.         weight 1
35.     notify_down /etc/keepalived/bin/mysql.sh
36.         TCP_CHECK {
37.         connect_port 3306
38.             connect_timeout 3
39.             retry 3
40.             delay_before_retry 3
41.         }
42.     }
43. }
44. [root@slave ~]# systemctl start keepalived
45. [root@slave ~]# mkdir /etc/keepalived/bin
46. [root@slave ~]# vim /etc/keepalived/bin/mysql.sh
47. #!/bin/bash
48. pkill keepalived

测试高可用

在master和slave分别执行命令查看master和slave对VIP(群集虚拟IP)的控制权。

        从上图可以看出master是主服务器,slave为备用服务器。 停止MySQL服务,看keepaliv ed健康检查程序是否会触发我们编写的脚本。

       关闭master上的mysql服务,使用测试机连接vip地址尝试远程连接,验证是否成功,成功后插入数据测试。

本章总结

       Keepalived+mysql双主一般来说,中小型规模的时候,采用这种架构是最省事的。 在master节点发生故障后,利用keepalived的高可用机制实现快速切换到备用节点。 在这个方案里,有几个需要注意的地方:

  1. 采用keepalived作为高可用方案时,两个节点最好都设置成BACKUP模式,避免因为意外情况下(比如脑裂)相互抢占导致往两个节点写入相同数据而引发冲突;
  2. 把两个节点的auto_increment_increment(自增步长)和auto_increment_offset(自增起始值)设成不同值。其目的是为了避免master节点意外宕机时,可能会有部分binlog未能及时复制到slave上被应用,从而会导致slave新写入数据的自增值和原先master上冲突了,因此一开始就使其错开;当然了,如果有合适的容错机制能解决主从自增ID冲突的话,也可以不这么做;
  3. slave节点服务器配置不要太差,否则更容易导致复制延迟。作为热备节点的slave服务器,硬件配置不能低于master节点;
  4. 如果对延迟问题很敏感的话,可考虑使用MariaDB分支版本,或者直接上线MySQL 5.7最新版本,利用多线程复制的方式可以很大程度降低复制延迟;


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
5天前
|
存储 SQL 关系型数据库
Mysql高可用架构方案
本文阐述了Mysql高可用架构方案,介绍了 主从模式,MHA模式,MMM模式,MGR模式 方案的实现方式,没有哪个方案是完美的,开发人员在选择何种方案应用到项目中也没有标准答案,合适的才是最好的。
48 3
Mysql高可用架构方案
|
3月前
|
运维 容灾 关系型数据库
MySQL高可用方案--Xenon全解
MySQL高可用方案--Xenon全解
|
3月前
|
SQL 关系型数据库 MySQL
orchestrator搭建mysql高可用
orchestrator搭建mysql高可用
41 0
|
3月前
|
缓存 关系型数据库 MySQL
如何实现mysql高可用集群
如何实现mysql高可用集群
36 0
|
3月前
|
安全 关系型数据库 MySQL
【MySQL】Orchestrator最简单的 mysql 高可用方案最细细细细~
【MySQL】Orchestrator最简单的 mysql 高可用方案最细细细细~
|
5月前
|
运维 容灾 关系型数据库
介绍几种 MySQL 官方高可用方案
MySQL 官方提供了多种高可用部署方案,从最基础的主从复制到组复制再到 InnoDB Cluster 等等。本篇文章以 MySQL 8.0 版本为准,介绍下不同高可用方案架构原理及使用场景。
1107 3
介绍几种 MySQL 官方高可用方案
|
3月前
|
缓存 关系型数据库 MySQL
MySQL调优秘籍曝光!从索引到事务,全方位解锁高可用秘诀,让你的数据库性能飞起来!
【8月更文挑战第6天】MySQL是顶级关系型数据库之一,其性能直接影响应用的高可用性与用户体验。本文聚焦MySQL的高性能调优,从索引设计到事务管理,逐一解析。介绍如何构建高效索引,如联合索引`CREATE INDEX idx_order_customer ON orders(order_id, customer_id);`,以及索引覆盖查询等技术。
79 0
|
5月前
|
SQL 关系型数据库 MySQL
MySQL高可用架构设计:从主从复制到分布式集群
MySQL高可用性涉及主从复制、半同步复制和Group/InnoDB Cluster。主从复制通过二进制日志同步数据,保证故障时可切换。半同步复制确保事务在至少一个从服务器确认后才提交。Group Replication是多主复制,支持自动故障切换。InnoDB Cluster是8.0的集成解决方案,简化集群管理。使用这些技术能提升数据库的稳定性和可靠性。
468 2
|
6月前
|
运维 负载均衡 关系型数据库
MySQL高可用解决方案演进:从主从复制到InnoDB Cluster架构
MySQL高可用解决方案演进:从主从复制到InnoDB Cluster架构
308 9
|
6月前
|
SQL canal 运维
MySQL高可用架构探秘:主从复制剖析、切换策略、延迟优化与架构选型
MySQL高可用架构探秘:主从复制剖析、切换策略、延迟优化与架构选型
下一篇
无影云桌面