状态快照转移:一种MySQL Galera集群较优的备份方法

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:


作者介绍

王晶中国移动DBA,负责“移动云”业务系统的数据库集成架构设计、运维、优化等工作;擅长技术领域MySQL,获Oracle颁发的“MySQL DBA”官方认证,熟悉MySQL复制结构、MHA、cluster等多种架构及运维优化。

 

MySQL Galera Cluster是一套基于WSREP进行同步复制的集群解决方案,配置和使用相对简单,具有多节点同时提供读写、可用性高、强一致性和快速扩展的特点。由于它能够分担读写压力,且具有较强的数据一致性,因此在很多企业的生产环境得以应用。本文旨在说明一种适用于MySQL Galera集群的备份方案。

 

Galera集群说到底也是MySQL,因此也可以普通的数据库备份方法来备份cluster的节点数据。但普通的备份方法缺少GTID,也无法把MySQL节点恢复到预设某个时间点的状态。而且,一些备份程序运行时可能会阻断集群的正常业务操作。所以对于MySQL Galera集群,官网推荐采用状态快照转移的方式来备份。

 

从数据库本身的角度来说,通过state snapshot transfer对galera cluster的一个节点做备份和对单实例做一个完整的数据备份是非常相似的。这两种情况下,数据库节点都使用相同的机制,联合GTID和database状态来创建一个库内容的全备份。而所说的快照转移的方式备份,本质上就是用类似于快照转移的方式来触发一个脚本,这个脚本可以同时实现以上备份过程和galera仲裁者守护进程。(示例来自官网)

 

\

 

这条命令触发了donor节点,也就是备份的来源节点,去调用wsrep_sst_backup.sh脚本,通过环境变量的配置, mysqld进程可以找到这个脚本。donor节点会选取数据库没有任何变更进行的时候跑这个备份脚本,传递当前状态对应的GTID。上面的示例中‘gmcast.listen_addr=tcp://0.0.0.0:4444‘是一个仲裁监听socket地址,用来与cluster通讯的,默认是0.0.0.0:4567 。

 

当然,也可以不使用galera默认提供的这个脚本,当你不满足于这些进程提供的默认操作时(当一个节点发送或接收一个状态快照转移时,是通过跑一个独立于database server的外部进程来管理它的),galera cluster提供一个接口给用户shell 脚本来管理节点上的状态快照转移,自身也同时提供了一个普通脚本用于管理状态快照转移,你可以用它来作为创建自己脚本的基础起点。该脚本的文件名为wsrep_sst_common.sh。Linux下默认安装在/usr/bin。

 

wsrep_sst_common.sh这个SST脚本提供解析参数列表、错误记录等的现成功能。并且没有对参数顺序和数量的约束,可以根据自身情况增加或忽略某些参数。

 

它假定只有在状态转移之后,接收节点的存储引擎初始化才进行。意味着它直接拷贝源数据内容到目的数据目录。

 

当Galera cluster启动一个外部进程做状态快照转移时,会传递一些参数来配置状态转移脚本。常见的参数有以下几类:

 

1.通用参数:这些参数所有的状态转移脚本都会用到,无论发送还是接受节点。

 

  • role:区别donor或joiner

  • address:joiner的IP地址,joiner可以用wsrep_sst_receive_address这个参数来配

  • auth:权限信息,可通过wsrep_sst_auth参数来配

  • datadir:脚本所需的数据目录来源于mysql_real_data_home这个参数

  • defaults-file:my.cnf的路径

 

2.donor特有的参数:这些参数只被用于donor

 

  • gtid:节点给出的GTID来自于state UUID和sequence number或seqno

  • socket:如果需要,可以配置本地server的socket用于通信

  • bypass:节点用于甄别是否跳过实际数据的传输,只传递GTID,也就是说该节点是否应该启动增量状态传输

 

3.逻辑状态转移特有的参数:这些参数只被传递到发送和接收端的wsrep_sst_mysqldump.sh脚本中。

 

  • user:用来连接joiner和donor的数据库的用户,两边都应该一致,用wsrep_sst_auth参数来定义

  • password:用来连接joiner和donor的数据库的用户,两边都应该一致,用wsrep_sst_auth参数来定义

  • host:joiner的IP地址

  • port:joiner的端口

  • local-port:发送状态转移的端口

     

不管用默认的自带脚本,还是自己写脚本,启动的过程都是一样的。文件名必须是wsrep_sst_<name>.sh。name是wsrep_sst_methord参数的值。receiver接收并应用transfer完成之后,会输出接受节点的标准GTID,退出脚本,返回状态0,说明状态转移成功。sender在完成传输后,会发送一个done\n的信号,当脚本收到这个信号之后,会返回0值退出。

 

通过状态快照转移机制来调用buckups有以下几点好处:

 

  1. 节点可以在一个特定的时间点来启动备份,这个时间无需人工选择干预,数据库会自动选择一个没有任何影响数据库的变更执行的时间点。

  2. 这种备份方式会把GTID和备份相关联,对于可能发生的潜在数据丢失或损坏故障,便于使用GTID进行修复。

  3. 备份时节点与cluster不再保持同步,避免做备份时影响带宽性能,备份进程更不会阻断节点。

  4. 集群能够自主判断某个节点正在执行备份,就不会选这个节点再作为另一个节点的donor。

本文来自云栖社区合作伙伴"DBAplus",原文发布时间:2016-09-01

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
86 28
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
利用Cron表达式实现MySQL数据库的定时备份
以上就是如何使用Cron表达式和mysqldump命令实现MySQL数据库的定时备份。这种方法的优点是简单易用,而且可以根据需要定制备份的时间和频率。但是,它也有一些限制,例如,它不能备份MySQL服务器的配置文件和用户账户信息,也不能实现增量备份。如果需要更复杂的备份策略,可能需要使用专门的备份工具或服务。
41 15
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
在Ubuntu系统的Docker上安装MySQL的方法
以上的步骤就是在Ubuntu系统的Docker上安装MySQL的详细方法,希望对你有所帮助!
90 12
MySQL细节优化:关闭大小写敏感功能的方法。
通过这种方法,你就可以成功关闭 MySQL 的大小写敏感功能,让你的数据库操作更加便捷。
123 19
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
【YashanDB知识库】MySQL field 函数的改写方法
【YashanDB知识库】MySQL field 函数的改写方法
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
下一篇
oss创建bucket
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等