mysql物理备份工具Xtrabackup安装配置

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

1    Xtrabackup工具介绍

Xtrabackup是一个对InnoDB做物理数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。

Xtrabackup有两个主要的工具:xtrabackupinnobackupex

1xtrabackup只能备份InnoDBXtraDB两种数据表,而不能备份MyISAM数据表。

2innobackupex是用来备份非InnoDB表的,同时会调用xtrabackup命令来备份InnoDB表,还会和mysql server发送命令进行交会,如加读锁、获取位点等。简单来说,innobackupexxtrabackup之上做了一层封装。

一般情况下,我们是希望能备份MyISAM表的,虽然我们可能自己不用MyISAM表,但是mysql库下的系统表示MyISAM的,因此备份基本都通过innobackupex命令进行;另外一个原因是我们可能需要保存位点信息。

2   XtraBackup备份原理

XtraBackup基于InnoDBcrash-recovery功能,它会复制InnoDBdata file,由于不锁表,复制出来的数据是不一致的,在恢复的时候使用crash-recovery,使得数据恢复一致。

InnoDB维护了一个redo log,又称为transaction log(事务日志),它包含了InnoDB数据的所有改动情况。当InnoDB启动的时候,它会先去检查data filetransaction log,并且会做两步操作:

XtraBackup在备份的时候,一页一页的复制InnoDB的数据,而且不锁定表,与此同时,XtraBackup还有另外一个线程监视着transaction log,一旦log发生变化,就把变化过的log pages复制走。为什么要着急复制走呢?因为transaction log文件大小有限,写满之后,就会从头再开始写,所以新数据可能会覆盖到旧的数据。

prepare过程中,XtraBackup使用复制到的transaction log对备份出来的InnoDB data file进行crash recovery

3  XtraBackup备份特点

(1)备份过程快速、可靠

(2)备份过程不会打断正在执行的事务

(3)能够基于压缩等功能节约磁盘空间和流量

(4)自动实现备份检验

(5)还原速度快

4   XtraBackup安装

本来想用源码安装的,但总是不断报错,所以只好采用yum方法安装了

打开官网yum源安装方法说明

https://www.percona.com/doc/percona-xtrabackup/LATEST/installation/yum_repo.html

按照步骤安装官网的yum

# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm

# ls /etc/yum.repos.d/

CentOS-Base.repo       CentOS-fasttrack.repo  CentOS-Vault.repo  percona-release.repo

CentOS-Debuginfo.repo  CentOS-Media.repo      epel.repo

安装xtrabackup

# yum list|grep percona     #测试是否安装成功官网的yum

# yum install percona-xtrabackup-24

# xtrabackup -version    #查看版本信息

也可以选用其他版本用rpm包方式安装

https://www.percona.com/downloads/XtraBackup/LATEST/binary/redhat/6/x86_64/

5  XtraBackup常用参数

--user=USER                     指定备份用户,不指定的话为当前系统用户

--password=PASSWD              指定备份用户密码

--port=PORT                     指定数据库端口

--defaults-group=GROUP-NAME     在多实例的时候使用

--host=HOST                     指定备份的主机,可以为远程数据库服务器

--apply-log    应用 BACKUP-DIR 中的 xtrabackup_logfile 事务日志文件。一般情况下,在备份完成后,数据尚且不能用于恢复操作,因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此,此时数据文件仍处于不一致状态。准备的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件使得数据文件处于一致性状态。

--apply-log-only    这个选项使在准备备份(prepare)时,只执行重做(redo)阶段,这对于增量备份非常重要。

--database                     指定需要备份的数据库,多个数据库之间以空格分开

--defaults-file                 指定mysql的配置文件

--copy-back                     将备份数据复制回原始位置

--incremental                   增量备份,后面跟要增量备份的路径

--incremental-basedir=DIRECTORY 增量备份时使用指向上一次的增量备份所在的目录

--incremental-dir=DIRECTORY     增量备份还原的时候用来合并增量备份到全量,用来指定全备路径

--redo-only                     对增量备份进行合并

--rsync      加快本地文件传输,适用于non-InnoDB数据库引擎。不与--stream共用

--safe-slave-backup

--no-timestamp                  生成的备份文件不以时间戳为目录.

6    XtraBackup备份数据

6.1   全量备份

查看备份之前都有哪些库

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| binlog             |

| database1          |

| mysql              |

| performance_schema |

| wangning           |

| wordpress          |

+--------------------+

7 rows in set (0.16 sec)

全备份数据存放在/data/backup/full下面,innobackupex会自动创建一个文件夹+以当前系统时间命名的文件夹

# innobackupex --defaults-file=/etc/my.cnf  --user=root --password=abc123 --socket=/tmp/mysql.sock /data/backup/full

# ls /data/backup/full/

2017-12-11_09-10-45

备份好的目录里各文件说明,×××部分为备份之前建的库

# ls /data/backup/full/2017-12-11_09-10-45/

backup-my.cnf  ibdata1             wangning                xtrabackup_checkpoints

binlog         mysql               wordpress               xtrabackup_info

database1      performance_schema  xtrabackup_binlog_info  xtrabackup_logfile

(1) backup-my.cnf —— 备份命令用到的配置选项信息;

(2) ibdata1 —— 备份的表空间文件;

(3) xtrabackup_binary —— 备份中用到的xtrabackup的可执行文件;

(4) xtrabackup_binlog_info —— mysql服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置;

(5) xtrabackup_logfile —— 备份的重做日志文件。

(6) xtrabackup_checkpoints —— 备份类型(如完全或增量)、备份状态(如是否已经为prepared状态)和LSN(日志序列号)范围信息;

# cat /data/backup/full/2017-12-11_09-10-45/xtrabackup_checkpoints

backup_type = full-backuped      #可以看出是全备份

from_lsn = 0                      #记录了LSN,日志偏移量

to_lsn = 8096126

last_lsn = 8096126

compact = 0

recover_binlog_info = 0

6.2   恢复全备数据

6.2.1  模拟数据库数据损坏

关闭数据库并移除数据文件

# service mysqld stop

# mv /application/mysql/data  /opt/   

# mkdir /application/mysql/data    #创建数据目录

# chown -R mysql.mysql /application/mysql/data

6.2.2   准备完整的数据备份文件

一般情况下,这个/data/backup/full/2017-12-11_09-10-45备份不能用于恢复,因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务,此时数据文件处于不一致的状态。因此,我们现在就是要通过回滚未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。

innobackupex --defaults-file=/etc/my.cnf  --user=root --password=abc123 --socket=/tmp/mysql.sock --apply-log /data/backup/full/2017-12-11_09-10-45/

6.2.3 开始恢复数据

innobackupex --defaults-file=/etc/my.cnf --user=root --password=abc123 --socket=/tmp/mysql.sock  --copy-back /data/backup/full/2017-12-11_09-10-45

171211 10:03:07 innobackupex: Starting the copy-back operation

 

IMPORTANT: Please check that the copy-back run completes successfully.

           At the end of a successful copy-back run innobackupex

           prints "completed OK!".

 

innobackupex version 2.4.9 based on MySQL server 5.7.13 Linux (x86_64) (revision id: a467167cdd4)

Error: datadir must be specified.

当执行上述命令出现报错时,是因为my.cnf文件里没有指定datadir目录

解决方法:

[mysqld]

datadir = /application/mysql/data

启动mysql出现报错

# service mysqld start                                                    Starting MySQL. ERROR! The server quit without updating PID file (/application/mysql/data/db01.pid).

data目录属主改为mysql即可

# chown -R mysql.mysql /application/mysql/data/

此时mysql的数据已成功恢复了

6.3 增量备份

增量备份是在全量备份的基础之上进行的

增量备份目录1/data/backup/increment1

增量备份目录2/data/backup/increment2

6.3.1    第一次增量备份和恢复

6.3.1.1  第一次增量备份

先全备再增备,全备见6.1

# innobackupex --defaults-file=/etc/my.cnf --user=root --password=abc123 --socket=/tmp/mysql.sock  --incremental /data/backup/increment1 --incremental-basedir=/data/backup/full/2017-12-11_09-10-45

生成一个以系统时间命名的文件夹

# ls /data/backup/increment1/

2017-12-11_10-51-27

--incremental-basedir指的是完全备份所在的目录,此命令执行结束后,innobackupex命令会在/data/backup/increment1目录中创建一个新的以时间命名的目录以存放所有的增量备份数据。另外,在执行过增量备份之后再一次进行增量备份时,其--incremental-basedir应该指向上一次的增量备份所在的目录。需要注意的是,增量备份仅能应用于InnoDBXtraDB表,对于MyISAM表而言,执行增量备份时其实进行的是完全备份。

6.3.1.2  第一次增备恢复

准备完整的数据恢复文件

全备 --apply-log

innobackupex --defaults-file=/etc/my.cnf  --user=root --password=abc123 --socket=/tmp/mysql.sock --apply-log  --redo-only /data/backup/full/2017-12-11_09-10-45/

增备1 --apply-log

# innobackupex --defaults-file=/etc/my.cnf  --user=root --password=abc123 --socket=/tmp/mysql.sock --apply-log  --redo-only /data/backup/full/2017-12-11_09-10-45/ --incremental-dir=/data/backup/increment1/2017-12-11_10-51-27

模拟数据库损坏,详见6.2.1

开始恢复数据,详见6.2.3

6.3.2  第二次增量备份和恢复

6.3.2.1  第二次增量备份

第二次增量备份是在第一次增量备份的基础上进行的

# innobackupex --defaults-file=/etc/my.cnf --user=root --password=abc123 --socket=/tmp/mysql.sock  --incremental /data/backup/increment2 --incremental-basedir=/data/backup/increment1/2017-12-11_10-51-27

生成一个以系统时间命名的文件夹

# ls /data/backup/increment2/

2017-12-11_10-58-55

6.3.2.2  第二次增备恢复

准备完整的数据恢复文件

增备2 --apply-log

# innobackupex --defaults-file=/etc/my.cnf  --user=root --password=abc123 --socket=/tmp/mysql.sock --apply-log  --redo-only /data/backup/full/2017-12-11_09-10-45/ --incremental-dir=/data/backup/increment2/2017-12-11_10-58-55

模拟数据库损坏,详见6.2.1

开始恢复数据,详见6.2.3

6.4    三次以上增量备份

按照6.3.2.2以此类推即可



本文转自 茁壮的小草 51CTO博客,原文链接:http://blog.51cto.com/wn2100/2049346,如需转载请自行联系原作者

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
25天前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决
|
2月前
|
SQL 关系型数据库 MySQL
MySQL 窗口函数详解:分析性查询的强大工具
MySQL 窗口函数从 8.0 版本开始支持,提供了一种灵活的方式处理 SQL 查询中的数据。无需分组即可对行集进行分析,常用于计算排名、累计和、移动平均值等。基本语法包括 `function_name([arguments]) OVER ([PARTITION BY columns] [ORDER BY columns] [frame_clause])`,常见函数有 `ROW_NUMBER()`, `RANK()`, `DENSE_RANK()`, `SUM()`, `AVG()` 等。窗口框架定义了计算聚合值时应包含的行。适用于复杂数据操作和分析报告。
132 11
|
3月前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
252 3
|
3月前
|
监控 关系型数据库 MySQL
Linux环境下MySQL数据库自动定时备份策略
在Linux环境下,MySQL数据库的自动定时备份是确保数据安全和可靠性的重要措施。通过设置定时任务,我们可以每天自动执行数据库备份,从而减少人为错误和提高数据恢复的效率。本文将详细介绍如何在Linux下实现MySQL数据库的自动定时备份。
133 3
|
3月前
|
存储 SQL 关系型数据库
2024Mysql And Redis基础与进阶操作系列(1)作者——LJS[含MySQL的下载、安装、配置详解步骤及报错对应解决方法]
Mysql And Redis基础与进阶操作系列(1)之[MySQL的下载、安装、配置详解步骤及报错对应解决方法]
|
3月前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
325 2
|
4月前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
201 0
Mysql中搭建主从复制原理和配置
|
4月前
|
SQL 关系型数据库 MySQL
mysql主从复制概述和配置
【10月更文挑战第22天】MySQL 主从复制是一种将主服务器的数据复制到一个或多个从服务器的技术,实现读写分离,提高系统性能和可用性。主服务器记录变更日志,从服务器通过 I/O 和 SQL 线程读取并应用这些变更。适用于读写分离、数据备份和恢复、数据分析等场景。配置步骤包括修改配置文件、创建复制用户、配置从服务器连接主服务器并启动复制进程。
242 1
|
4月前
|
关系型数据库 MySQL Java
Django学习二:配置mysql,创建model实例,自动创建数据库表,对mysql数据库表已经创建好的进行直接操作和实验。
这篇文章是关于如何使用Django框架配置MySQL数据库,创建模型实例,并自动或手动创建数据库表,以及对这些表进行操作的详细教程。
153 0
Django学习二:配置mysql,创建model实例,自动创建数据库表,对mysql数据库表已经创建好的进行直接操作和实验。
|
4月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
140 3