一 前言
大家对于MySQL的逻辑备份工具mysqldump应该都比较了解，相对于mysqldump，本文介绍一款由MySQL ,Facebook 等公司的开发维护另外一套逻辑备份恢复工具--- mydumper/myloader目前已经开发到0.9.1 版本。
mydumper 具有如下特性
1 支持多线程导出数据，速度比mysqldump快。
2 支持一致性备份，使用FTWRL(FLUSH TABLES WITH READ LOCK)会阻塞DML语句,保证备份数据的一致性。
3 支持将导出文件压缩，节约空间。
4 支持多线程恢复。
5 支持以守护进程模式工作，定时快照和连续二进制日志
6 支持按照指定大小将备份文件切割。
7 数据与建表语句分离。
二 原理
参考一张图 介绍mydumper的工作原理
mydumper的主要工作步骤
1 主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁，以阻止DML语句写入，保证数据的一致性
2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供即使点恢复使用
3 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致事务
4 启用N个（线程数可以指定，默认是4）dump线程导出表和表结构
5 备份非事务类型的表
6 主线程 UNLOCK TABLES，备份完成非事务类型的表之后，释放全局只读锁
7 dump InnoDB tables, 基于事物导出InnoDB表
8 事物结束
三 安装使用
3.1 安装
mydumper 基于c语言编写，需要编译安装，因此需要安装编译工具。
安装好之后 ，会生成两个文件：
/usr/local/bin/mydumper
/usr/local/bin/myloader
注意 :
mydumper 的常用参数
myloader使用参数
四 使用方法
#导出整个库
#仅仅导出platform的ddl语句不包含数据到指定的目录 /data/platform
#以压缩的方式导出的文件
备份文件以.gz 的格式压缩
#使用正则表达式
其中正则表达式可以是
--regex=order.* 导出所有order 开头的表
mydumper 导出的文件
mydumper 导出的文件 分为
注意 0.9.1 版本去掉了 --binlogs 参数，故会少了 启用binlogs参数相关的文件。
有兴趣的朋友可以继续阅读 这里，有专门针对mydumper与5.7 新出的mysqlpump 工具的讨论。
五 小结
从目前的测试来看，mydumper对备份的速度有一定提升，但是没有网络上说的10倍那么高。我已经在我们的开发测试环境部署了该工具的备份脚本，用来解决开发同学的偶尔冒失行为。相比mysqldump，mydumper的导出的文件形式是每个表一个文件，对于开发/测试环境的误操作恢复十分有效。
参考文章
[1] mydumper备份原理和使用方法
大家对于MySQL的逻辑备份工具mysqldump应该都比较了解，相对于mysqldump，本文介绍一款由MySQL ,Facebook 等公司的开发维护另外一套逻辑备份恢复工具--- mydumper/myloader目前已经开发到0.9.1 版本。
mydumper 具有如下特性
1 支持多线程导出数据，速度比mysqldump快。
2 支持一致性备份，使用FTWRL(FLUSH TABLES WITH READ LOCK)会阻塞DML语句,保证备份数据的一致性。
3 支持将导出文件压缩，节约空间。
4 支持多线程恢复。
5 支持以守护进程模式工作，定时快照和连续二进制日志
6 支持按照指定大小将备份文件切割。
7 数据与建表语句分离。
二 原理
参考一张图 介绍mydumper的工作原理
mydumper的主要工作步骤
1 主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁，以阻止DML语句写入，保证数据的一致性
2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供即使点恢复使用
3 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致事务
4 启用N个（线程数可以指定，默认是4）dump线程导出表和表结构
5 备份非事务类型的表
6 主线程 UNLOCK TABLES，备份完成非事务类型的表之后，释放全局只读锁
7 dump InnoDB tables, 基于事物导出InnoDB表
8 事物结束
三 安装使用
3.1 安装
mydumper 基于c语言编写，需要编译安装，因此需要安装编译工具。
- yum install glib2-devel mysql-devel zlib-devel pcre-devel zlib gcc-c++ gcc cmake -y
- wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz
- tar xf mydumper-0.9.1.tar.gz
- cd mydumper-0.9.1/
- cmake .
- make && make install
点击(此处)折叠或打开
- # cmake .
- -- Using mysql-config: /opt/mysql/bin/mysql_config
- -- Found MySQL: /opt/mysql/include, /usr/lib64/libperconaserverclient.so;/usr/lib64/libpthread.so;/usr/lib64/libm.so;/usr/lib64/librt.so;/usr/lib64/libdl.so
- -- Found ZLIB: /usr/lib64/libz.so (found version "1.2.3")
- -- Found PkgConfig: /usr/bin/pkg-config (found version "0.23")
- -- checking for one of the modules 'glib-2.0'
- -- checking for one of the modules 'gthread-2.0'
- -- checking for module 'libpcre'
- -- found libpcre, version 7.8
- -- Found PCRE: /usr/include
- CMake Warning at docs/CMakeLists.txt:9 (message):
- Unable to find Sphinx documentation generator
- -- ------------------------------------------------
- -- MYSQL_CONFIG = /opt/mysql/bin/mysql_config
- -- CMAKE_INSTALL_PREFIX = /usr/local
- -- BUILD_DOCS = ON
- -- WITH_BINLOG = OFF
- -- RUN_CPPCHECK = OFF
- -- Change a values with: cmake -D<Variable>=<Value>
- -- ------------------------------------------------
- --
- -- Configuring done
- -- Generating done
- -- Build files have been written to: /root/mydumper-0.9.1
- # make
- Scanning dependencies of target mydumper
- [ 25%] Building C object CMakeFiles/mydumper.dir/mydumper.c.o
- [ 50%] Building C object CMakeFiles/mydumper.dir/server_detect.c.o
- [ 75%] Building C object CMakeFiles/mydumper.dir/g_unix_signal.c.o
- Linking C executable mydumper
- [ 75%] Built target mydumper
- Scanning dependencies of target myloader
- [100%] Building C object CMakeFiles/myloader.dir/myloader.c.o
- Linking C executable myloader
- [100%] Built target myloader
- # make install
- [ 75%] Built target mydumper
- [100%] Built target myloader
- Linking C executable CMakeFiles/CMakeRelink.dir/mydumper
- Linking C executable CMakeFiles/CMakeRelink.dir/myloader
- Install the project...
- -- Install configuration: ""
- -- Installing: /usr/local/bin/mydumper
- -- Installing: /usr/local/bin/myloader
/usr/local/bin/mydumper
/usr/local/bin/myloader
注意 :
- 一般会遇到找不到 mysql-libraries 的问题，可以参考 stackoverflow 的回答，如果再解决不了，则可能是自己制定的MySQL安装目录的问题，比如我自己的安装目录是/opt/mysql/
- 则需要做一个软连接
- ln -s /opt/mysql/lib/libperconaserverclient.so /usr/lib64/libperconaserverclient.so
mydumper 的常用参数
- -B, --database 要导出的dbname
- -T, --tables-list 需要导出的表名,导出多个表需要逗号分隔，t1[,t2,t3 ....]
- -o, --outputdir 导出数据文件存放的目录，mydumper会自动创建
- -s, --statement-size 生成插入语句的字节数, 默认1000000字节
- -r, --rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
- -F, --chunk-filesize 切割表文件的大小，默认单位是 MB ，如果表大于
- -c, --compress 压缩导出的文件
- -e, --build-empty-files 即使是空表也为表创建文件
- -x, --regex 使用正则表达式匹配 db.table
- -i, --ignore-engines 忽略的存储引擎，多个值使用逗号分隔
- -m, --no-schemas 只导出数据，不导出建库建表语句
- -d, --no-data 仅仅导出建表结构，创建db的语句
- -G, --triggers 导出触发器
- -E, --events 导出events
- -R, --routines 导出存储过程和函数
- -k, --no-locks 不执行临时的只读锁，会导致备份不一致 。WARNING: This will cause inconsistent backups
- --less-locking 最小化在innodb表上的锁表时间 --butai
- -l, --long-query-guard 设置长时间执行的sql 的时间标准
- -K, --kill-long-queries 将长时间执行的sql kill
- -D, --daemon 以守护进程的方式执行
- -I, --snapshot-interval 创建导出快照的时间间隔，默认是 60s ，该参数只有在守护进程执行的时候有用。
- -L, --logfile 指定mydumper输出的日志文件，默认使用控制台输出。
- --tz-utc SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
- --skip-tz-utc
- --use-savepoints 使用savepoints 减少MDL 锁事件 需要 SUPER 权限
- --success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn
- -d, --directory 备份文件的文件夹
- -q, --queries-per-transaction 每次事物执行的查询数量，默认是1000
- -o, --overwrite-tables 如果要恢复的表存在，则先drop掉该表，使用该参数，需要备份时候要备份表结构
- -B, --database 需要还原的数据库
- -e, --enable-binlog 启用还原数据的二进制日志
- -h, --host The host to connect to
- -u, --user Username with privileges to run the dump
- -p, --password User password
- -P, --port TCP/IP port to connect to
- -S, --socket UNIX domain socket file to use for connection
- -t, --threads 还原所使用的线程数，默认是4
- -C, --compress-protocol 压缩协议
- -V, --version 显示版本
- -v, --verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
#导出整个库
- mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -o /data/trade_platform
- mydumper -u root -S /srv/my3308/run/mysql.sock -B platform -m -o /data/platform
- mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -c -o /data/trade_platform
- #ls
- metadata trade_platform.config.sql.gz trade_platform.trade_order-schema.sql.gz
- trade_platform.config-schema.sql.gz trade_platform-schema-create.sql.gz trade_platform.trade_order.sql.gz
- mydumper -u root -S /srv/my3308/run/mysql.sock --regex='^(?!(mysql|test))' -o /data/bk20170120
--regex=order.* 导出所有order 开头的表
mydumper 导出的文件
- [root@rac4 17:27:02 /data/platform]
- # ls
- metadata platform.config.sql platform.order.sql
- metadata :包含导出时刻的binlog 位点信息 ，如果启用gtid ，则记录gtid信息。
- Started dump at: 2017-01-20 17:26:53
- SHOW MASTER STATUS:
- Log: mysql-bin.000025
- Pos: 505819083
- GTID:
- Finished dump at: 2017-01-20 17:27:02
- db.table.sql :数据文件，insert语句
- db.table-schema.sql :包含建表语句
- db-schema.sql :包含建库语句
有兴趣的朋友可以继续阅读 这里，有专门针对mydumper与5.7 新出的mysqlpump 工具的讨论。
五 小结
从目前的测试来看，mydumper对备份的速度有一定提升，但是没有网络上说的10倍那么高。我已经在我们的开发测试环境部署了该工具的备份脚本，用来解决开发同学的偶尔冒失行为。相比mysqldump，mydumper的导出的文件形式是每个表一个文件，对于开发/测试环境的误操作恢复十分有效。
参考文章
[1] mydumper备份原理和使用方法
