MySQL高可用之MHA集群(上)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一、MHA概述1.1 什么是 MHAMHA(MasterHigh Availability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。MHA 的出现就是解决MySQL 单点故障的问题。

一、MHA概述


1.1 什么是 MHA

MHA(MasterHigh Availability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。

MHA 的出现就是解决MySQL 单点故障的问题。

MySQL故障切换过程中,MHA能做到0-30秒内自动完成故障切换操作。

MHA能在故障切换的过程中最大程度上保证数据的一致性,以达到真正意义上的高可用。


1.2 MHA 的组成

1)MHA Node(数据节点)

  • MHA Node 运行在每台 MySQL 服务器上。

2)MHA Manager(管理节点)

  • MHA Manager 可以单独部署在一台独立的机器上,管理多个 master-slave 集群;也可以部署在一台 slave 节点上。
  • MHA Manager 会定时探测集群中的 master 节点。当 master 出现故障时,它可以自动将最新数据的 slave 提升为新的 master, 然后将所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完全透明。


1.3 MHA 的特点

  • 自动故障切换过程中,MHA试图从宕机的主服务器上保存二进制日志,最大程度的保证数据不丢失
  • 使用半同步复制,可以大大降低数据丢失的风险,如果只有一个slave已经收到了最新的二进制日志,MHA可以将最新的二进制日志应用于其他所有的slave服务器上,因此可以保证所有节点的数据一致性。
  • 目前MHA支持一主多从架构,最少三台服务器,即一主两从

网络异常,图片无法展示
|


二、MySQL MHA搭建准备


2.1 实验思路

1)MHA架构:①数据库安装 ②一主两从 ③MHA搭建

2)故障模拟:①主库失效 ②备选主库成为主库 ③原故障主库恢复重新加入到MHA成为从库

2.2 实验准备

节点服务器 系统 主机名 IP地址 安装工具及服务
MHA manager 服务器 CentOS7.4(64 位) manager 192.168.72.40 MHA node 和 manager 组件
Master 服务器 CentOS7.4(64 位) mysql1 192.168.72.192 MHA node 组件
Slave1 服务器 CentOS7.4(64 位) mysql2 192.168.72.60 MHA node 组件
Slave2 服务器 CentOS7.4(64 位) mysql3 192.168.72.80 MHA node 组件


MHA一主两从高可用集群示意图:

网络异常,图片无法展示
|


三、搭建 MySQL MHA


3.1 配置主从复制

1、四台服务器都关闭防火墙

systemctl disable --now firewalld
 setenforce 0
复制代码


网络异常,图片无法展示
|


2、修改 Master、Slave1、Slave2 节点的主机名

##Master 节点##
 hostnamectl set-hostname mysql1
 su
 ##Slave1节点##
 hostnamectl set-hostname mysql2
 su
 ##Slave2节点##
 hostnamectl set-hostname mysql3
 su
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


3、 在Master、Slave1、Slave2添加主机映射关系

#三台添加同样的配置
 vim /etc/hosts
 192.168.72.192 mysql1
 192.168.72.60 mysql2
 192.168.72.80 mysql3
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


4、修改 Master、Slave1、Slave2 节点的 Mysql主配置文件/etc/my.cnf

Master节点,开启二进制日志。

Slave1、Slave2 节点,开启二进制日志和中继日志。

##Master 节点##
 vim /etc/my.cnf
 [mysqld]
 server-id = 1
 log_bin = master-bin         #开启二进制日志,指定存放位置
 log-slave-updates = true     #允许slave从master复制数据时可以写入到自己的二进制日志中
 systemctl restart mysqld     #重启mysql
 ##Slave1节点##
 vim /etc/my.cnf
 [mysqld]
 server-id = 2               #三台服务器的 server-id 不能相同
 log_bin = master-bin
 relay-log = relay-log-bin
 relay-log-index = slave-relay-bin.index
 systemctl restart mysqld
 ##Slave2节点##
 vim /etc/my.cnf
 [mysqld]
 server-id = 3               #三台服务器的 server-id 不能相同
 log_bin = master-bin
 relay-log = relay-log-bin
 relay-log-index = slave-relay-bin.index
 systemctl restart mysqld     #重启mysql
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


5、在 Master、Slave1、Slave2 节点上都创建两个软链接

ln -s /usr/local/mysql/bin/mysql /usr/sbin/
 ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
 ls /usr/sbin/mysql*     #查看软链接
复制代码


网络异常,图片无法展示
|


6、登录数据库进行授权

对slave和manager进行授权。

##----(1)所有数据库节点进行mysql主从同步的授权------##
 grant replication slave on *.* to 'myslave'@'192.168.72.%' identified by '123123';   #从服务器同步使用
 ##---(2)所有数据库节点,授权给manager服务器-----##
 grant all privileges on *.* to 'mha'@'192.168.72.%' identified by 'manager';  
 #为了防止因主机名导致的连接不上问题,再次对登录地址进行授权
 grant all privileges on *.* to 'mha'@'mysql1' identified by 'manager';              
 grant all privileges on *.* to 'mha'@'mysql2' identified by 'manager';
 grant all privileges on *.* to 'mha'@'mysql3' identified by 'manager';
 flush privileges;   #刷新权限
复制代码


所有数据库节点进行mysql主从同步的授权:

网络异常,图片无法展示
|


所有数据库节点,授权给manager服务器:

网络异常,图片无法展示
|


7、配置主从同步

在 Master 节点查看二进制文件和同步点(即偏移量),在 Slave1、Slave2 节点执行同步操作。

##(1)在 Master 节点查看二进制文件和同步点(即偏移量)##
 show master status;
 +-------------------+----------+--------------+------------------+--
 | File              | Position | Binlog_Do_DB | Binlog_Ignore_DB | 
 +-------------------+----------+--------------+------------------+--
 |   mysql-bin.000012|      773 |              |                  |   
 +-------------------+----------+--------------+------------------+--
 ##(2)在 Slave1、Slave2 节点执行同步操作##
 change master to master_host='192.168.72.192',master_user='myslave',master_password='123123',master_log_file='mysql-bin.000012',master_log_pos=773; 
 start slave;     #开启同步,如有报错执行 reset slave;
 ##(3)在 Slave1、Slave2 查看节点状态##
 show slave status\G     
 //确保 IO 和 SQL 线程都是 Yes,代表同步正常。
 Slave_IO_Running: Yes
 Slave_SQL_Running: Yes
 #一般 "Slave_IO_Running: No" 的可能原因:
  1. 网络不通 
  2. my.cnf配置有问题(server-id重复)
  3. 密码、file文件名、pos偏移量不对 
  4. 防火墙没有关闭 
 ##(4)两个从库必须设置为只读模式##
 set global read_only=1;
 ##(5)在Master主库插入数据,测试数据库同步##
 create database test1; 
 use test1;
 create table shop(id int);
 insert into shop values (1);
 #从数据库中验证是否同步成功
 select * from test1.shop;
复制代码


1)在 Master 节点查看二进制文件和同步点:

网络异常,图片无法展示
|


2)在 Slave1、Slave2 节点执行同步操作:

网络异常,图片无法展示
|


网络异常,图片无法展示
|


3)两个从库必须设置为只读模式:

网络异常,图片无法展示
|


4)在Master主库插入数据,slave中验证数据同步:

网络异常,图片无法展示
|


网络异常,图片无法展示
|


网络异常,图片无法展示
|


3.2 配置MHA

1、所有服务器安装MHA软件

  • 对于每个操作系统版本不一样,这里 CentOS7.4 必须选择 0.57 版本。
  • 在所有服务器上必须先安装 node 组件,最后在 MHA-manager 节点上安装 manager 组件,因为 manager组件 依赖 node 组件。
##(1)所有服务器上都安装 MHA 依赖的环境,首先安装 epel 源##
 yum install epel-release --nogpgcheck -y
 #安装 MHA依赖环境
 yum install -y perl-DBD-MySQL \
 perl-Config-Tiny \
 perl-Log-Dispatch \
 perl-Parallel-ForkManager \
 perl-ExtUtils-CBuilder \
 perl-ExtUtils-MakeMaker \
 perl-CPAN
 ##(2)安装 MHA 软件包,必须先在所有服务器上安装 node 组件##
 #将安装包上传到/opt/目录中,解压安装node组件##
 cd /opt/
 tar zxvf mha4mysql-node-0.57.tar.gz
 cd mha4mysql-node-0.57
 perl Makefile.PL
 make && make install
 ##(3)最后在 MHA manager 节点上安装 manager 组件##(manager组件依赖node 组件)
 cd /opt/
 tar zxvf mha4mysql-manager-0.57.tar.gz
 cd mha4mysql-manager-0.57
 perl Makefile.PL
 make && make install
 ------------------虚线以内是注释--------------------------------------------------
 #manager 组件安装后在/usr/local/bin 下面会生成几个工具,主要包括以下几个:
 masterha_check_ssh         #检查 MHA 的 SSH 配置状况
 masterha_check_repl        #检查 MySQL 复制状况
 masterha_manger            #启动 manager的脚本
 masterha_check_status      #检测当前 MHA 运行状态
 masterha_master_monitor    #检测 master 是否宕机
 masterha_master_switch     #控制故障转移(自动或者手动)
 masterha_conf_host         #添加或删除配置的 server 信息
 masterha_stop              #关闭manager
 #node 组件安装后也会在/usr/local/bin 下面会生成几个脚本(这些工具通常由 MHAManager 的脚本触发,无需人为操作)主要如下:
 save_binary_logs       #保存和复制 master 的二进制日志
 apply_diff_relay_logs  #识别差异的中继日志事件并将其差异的事件应用于其他的 slave
 filter_mysqlbinlog     #去除不必要的 ROLLBACK 事件(MHA 已不再使用这个工具)
 purge_relay_logs       #清除中继日志(不会阻塞 SQL 线程)
 ----------------------------------------------------------------------------------------------------------
复制代码


(1)所有服务器上首先安装 epel 源,之后安装 MHA 依赖的环境:

网络异常,图片无法展示
|


网络异常,图片无法展示
|


(2)先在所有服务器上安装 node 组件:

网络异常,图片无法展示
|


网络异常,图片无法展示
|


(3)最后在 MHA manager 节点上安装 manager 组件:

网络异常,图片无法展示
|


网络异常,图片无法展示
|


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4月前
|
存储 SQL 关系型数据库
Mysql高可用架构方案
本文阐述了Mysql高可用架构方案,介绍了 主从模式,MHA模式,MMM模式,MGR模式 方案的实现方式,没有哪个方案是完美的,开发人员在选择何种方案应用到项目中也没有标准答案,合适的才是最好的。
402 3
Mysql高可用架构方案
|
3天前
|
监控 关系型数据库 MySQL
云数据库:从零到一,构建高可用MySQL集群
在互联网时代,数据成为企业核心资产,传统单机数据库难以满足高并发、高可用需求。云数据库通过弹性扩展、分布式架构等优势解决了这些问题,但也面临数据安全和性能优化挑战。本文介绍了如何从零开始构建高可用MySQL集群,涵盖选择云服务提供商、创建实例、配置高可用架构、数据备份恢复及性能优化等内容,并通过电商平台案例展示了具体应用。
|
5月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
74 3
|
5月前
|
消息中间件 分布式计算 关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
84 0
|
5月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
174 0
|
5月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
74 0
|
5月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
105 0
|
2月前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决
|
25天前
|
关系型数据库 MySQL 数据库
Docker Compose V2 安装常用数据库MySQL+Mongo
以上内容涵盖了使用 Docker Compose 安装和管理 MySQL 和 MongoDB 的详细步骤,希望对您有所帮助。
132 42
|
16天前
|
关系型数据库 MySQL 网络安全
如何排查和解决PHP连接数据库MYSQL失败写锁的问题
通过本文的介绍,您可以系统地了解如何排查和解决PHP连接MySQL数据库失败及写锁问题。通过检查配置、确保服务启动、调整防火墙设置和用户权限,以及识别和解决长时间运行的事务和死锁问题,可以有效地保障应用的稳定运行。
82 25