MySQL高可用架构之MHA

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

  MHA简介:

  MHA是由日本人yoshinorim(原就职于DeNA现就职于FaceBook)开发的比较成熟的MySQL高可用方案。MHA能够在30秒内实现故障切换,并能在故障切换中,最大可能的保证数据一致性。

  该软件由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群,也可以部署在一台slave节点上。MHA Node运行在每台mysql服务器上,MHA Manager会定时探测集群中的master节点,当master出故障时,它可以自动将最新数据的slave提升为新的master,然后将所有其它的slave重新指向新的master。整个故障转移过程对应用程序完全透明。

  MHA基本机构图如下:

  fc1ee4adf53a4222709f3559ed14f9bb.png

  以上拓扑图展示了如何通过MHA Manager管理多组主从复制。可以将MHA工作原理总结如下:

  (1)从宕机崩溃的master服务器中保存二进制日志事件(binlog events)

  (2)识别含有最新更新的slave

  (3)应用差异的中继日志(relay-log)到其它slave

  (4)应用从master保存的二进制日志事件(binlog events)

  (5)提升一个新的slave为master

  (6)使其它的slave连接新的master进行复制。

  一、部署环境

  大概部署环境如下:(说明:所有系统均为centos7.3,其中server03、server04为server02的从) 

    角色      ip    主机名    类型
监测主机(monitor host) 172.17.5.1 server01
监控复制组
主服务器(master) 172.17.5.2 server02 写入
备用主服务器(candicate master)
172.17.5.3 server03
从服务器(slave) 172.17.5.4 server04

  二、配置hosts本地解析

  ①四台机器配置相同的hosts解析。(也可以在mysql配置文件里配置忽略名字解析skip-name-resolve)

  bafcf15f9762925a7afd995ef4fb1d6e.png

  三、配置四台主机之间ssh免密登陆(都需要配置哦)。

  404e2b49036cc69d7d573d2687140b85.png

  四、配置mysql服务。

  ①在master(server02)主机上配置mysql主配置文件

  0753ab0675fed44e337a43a9a004e36a.png 

  ②在其它三个服务器上配置mysql主配置文件(注意:server-id不一样,其它配置文件都一样)。

  c2ef137c59efc45e3a45e3bc7ea1fcb2.png

  ③配置好主从节点之后,按MYSQL复制配置架构的配置方式将其配置完成并启动master节点和各slave节点,以及为各slave节点启动其IO和SQL线程,确保主从复制运行无误。操作如下:

  在master(server02)服务器上授权slave服务器能连接数据库读取二进制日志事物。

  6668fcba383f3effcded6e1d651a1c8f.png  

  在其它机器上获取master的权限,开启复制功能。(三台机器一样)

  25007d70947db278acdaae05b8a80611.png

  五、搭建MHA环境和配置服务。

  ①在master(server02)服务器上创建MHA管理复制的账号。

  98acd702715b200f8d7fe04b1c2c0ac5.png  

  ②在所有服务器上安装mha4mysql-node(我是下载好安装包使用rpm安装的)

  c7fcb13b5c53ef627d022bff90612e46.png

  ③在监测主机(monitor host)上安装mha4mysql-manager

  67b676e09bc9a1e2f5b26d942a07f436.png  

  ④定义MHA管理配置文件。

  在manager(server01)配置:

  定义一个统一管理的用户和目录,方便以后管理。

  mkdir -p /etc/mha_master/app1

  修改MHA配置文件如下:

  2f1a5b4159a50b61dd2ec345c21aee17.png  

  ⑤在master(server02)和slave(server03、04)创建工作目录

  命令:mkdir /mydata/mha_master/app1

  ⑥检测各节点之间ssh通讯是否ok(server01执行)

  3.png 

  ⑦再次在master(server02)执行mysql授权sql语句。【为了确保各slave服务器节点正常,随时可以成为master服务器】

  1.png

  ⑧masterha_check_repl工具检查mysql主从复制是否成功 

  2.png 

  ⑨启动MHA

  1.png

  五、测试。

  ①停止master(server02)服务器,查看manager(server01)日志。

  systemctl stop mariadb (sserver02)

  1.png

  ②查看备用slave是否为master了。

  1.png

  ③恢复master(server02)。

  1.png

  六、日常操作

  ①校验ssh等效验证
  $ masterha_check_ssh --conf=/etc/masterha/app1.cnf


  ②校验mysql复制
  $ masterha_check_repl --conf=/etc/masterha/app1.cnf


  ③启动mha监控,在master故障时开启自动转移
  $ nohup masterha_manager --conf=/etc/masterha/app1.cnf > /tmp/mha_manager.log  < /dev/null 2>&1 &

  ###当有slave节点宕掉的情况是启动不了的,加上--ignore_fail_on_start即使有节点宕掉也能启动mha
  $ nohup masterha_manager --conf=/etc/masterha/app1.cnf  --ignore_fail_on_start > /tmp/mha_manager.log  < /dev/null 2>&1 &


  ④检查启动的状态
  $ masterha_check_status --conf=/etc/masterha/app1.cnf


  ⑤停止mha
  $ masterha_stop  --conf=/etc/masterha/app1.cnf


  ⑥多次failover
  MHA在每次failover切换后会在管理目录生成文件app1.failover.complete ,下次在切换的时候如果由于间隔时间太短导致切换不成功,应手动清理掉。
  rm -rf /var/log/masterha/app1/app1.failover.complete或者通过加上参数--ignore_last_failover来忽略


  ⑦手工failover
  手工failover场景,适用于在master死掉,而masterha_manager未开启情形,如下,指定--master_state=dead
  masterha_master_switch --conf=/etc/masterha/app1.cnf --dead_master_host=192.168.1.6 --master_state=dead --new_master_host=192.168.1.7 --ignore_last_failover


  ⑧手动在线切换,如下,指定--master_state=alive
  masterha_master_switch --conf=/etc/masterha/app1.cnf --master_state=alive --new_master_host=192.168.1.6 --orig_master_is_new_slave

  masterha_master_switch --conf=/etc/masterha/app1.cnf --master_state=alive --new_master_host=192.168.1.6 --orig_master_is_new_slave --running_updates_limit=10000 --orig_master_is_new_slave

  表明在切换时原master变为新master的slave节点
  --running_updates_limit=10000 
  切换时候选master如果有延迟的话,mha切换不能成功,加上此参数表示延迟在此时间范围内都可切换(单位为s),但是切换的时间长短是由recover时relay日志的大小决定


本文转自 LUksl 51CTO博客,原文链接:http://blog.51cto.com/19940919/2043408


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
RocketMQ原理—5.高可用+高并发+高性能架构
本文主要从高可用架构、高并发架构、高性能架构三个方面来介绍RocketMQ的原理。
144 21
RocketMQ原理—5.高可用+高并发+高性能架构
MySQL进阶突击系列(03) MySQL架构原理solo九魂17环连问 | 给大厂面试官的一封信
本文介绍了MySQL架构原理、存储引擎和索引的相关知识点,涵盖查询和更新SQL的执行过程、MySQL各组件的作用、存储引擎的类型及特性、索引的建立和使用原则,以及二叉树、平衡二叉树和B树的区别。通过这些内容,帮助读者深入了解MySQL的工作机制,提高数据库管理和优化能力。
Mysql高可用架构方案
本文阐述了Mysql高可用架构方案,介绍了 主从模式,MHA模式,MMM模式,MGR模式 方案的实现方式,没有哪个方案是完美的,开发人员在选择何种方案应用到项目中也没有标准答案,合适的才是最好的。
490 3
Mysql高可用架构方案
MySQL的架构与SQL语句执行过程
MySQL架构分为Server层和存储引擎层,具有高度灵活性和可扩展性。Server层包括连接器、查询缓存(MySQL 8.0已移除)、分析器、优化器和执行器,负责处理SQL语句;存储引擎层负责数据的存储和读取,常见引擎有InnoDB、MyISAM和Memory。SQL执行过程涉及连接、解析、优化、执行和结果返回等步骤,本文详细讲解了一条SQL语句的完整执行过程。
84 3
云数据库:从零到一,构建高可用MySQL集群
在互联网时代,数据成为企业核心资产,传统单机数据库难以满足高并发、高可用需求。云数据库通过弹性扩展、分布式架构等优势解决了这些问题,但也面临数据安全和性能优化挑战。本文介绍了如何从零开始构建高可用MySQL集群,涵盖选择云服务提供商、创建实例、配置高可用架构、数据备份恢复及性能优化等内容,并通过电商平台案例展示了具体应用。
MySQL原理简介—2.InnoDB架构原理和执行流程
本文介绍了MySQL中更新语句的执行流程及其背后的机制,主要包括: 1. **更新语句的执行流程**:从SQL解析到执行器调用InnoDB存储引擎接口。 2. **Buffer Pool缓冲池**:缓存磁盘数据,减少磁盘I/O。 3. **Undo日志**:记录更新前的数据,支持事务回滚。 4. **Redo日志**:确保事务持久性,防止宕机导致的数据丢失。 5. **Binlog日志**:记录逻辑操作,用于数据恢复和主从复制。 6. **事务提交机制**:包括redo日志和binlog日志的刷盘策略,确保数据一致性。 7. **后台IO线程**:将内存中的脏数据异步刷入磁盘。
147 12
【赵渝强老师】MySQL的体系架构
本文介绍了MySQL的体系架构,包括Server层的7个主要组件(Connectors、Connection Pool、Management Service & Utilities、SQL Interface、Parser、Optimizer、Query Caches & Buffers)及其作用,以及存储引擎层的支持情况,重点介绍了InnoDB存储引擎。文中还提供了相关图片和视频讲解。
287 2
【赵渝强老师】MySQL的体系架构
MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
本文从MySQL的架构原理出发,详细介绍其SQL查询的全过程,涵盖客户端发起SQL查询、服务端SQL接口、解析器、优化器、存储引擎及日志数据等内容。同时提供了MySQL常用的管理命令参数集,帮助读者深入了解MySQL的技术细节和优化方法。
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
224 82
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等