mydumper备份数据库详解(已详细说明)-阿里云开发者社区

开发者社区> 白及88> 正文

mydumper备份数据库详解(已详细说明)

简介: <p></p> <p style="margin-top:0px; margin-bottom:0px; padding-top:0px; padding-bottom:0px; color:rgb(85,85,85); font-family:'microsoft yahei'; font-size:15px; line-height:35px"> <span style="font
+关注继续查看

  mydumper是针对mysql数据库备份的一个轻量级第三方的开源工具,备份方式为逻辑备份。它支持多线程,备份速度远高于原生态的mysqldump以及众多优异特性。因此该工具是DBA们的不二选择。本文主要描述该工具的使用方法并给出示例。

    有关mydumper安装参考:mydumper安装及安装故障汇总


1、mydumper的特点
a、多线程逻辑备份,生产的多个备份文件
b、与mysqldump相同,备份时对 MyISAM 表施加FTWRL (FLUSH TABLES WITH READ LOCK), 会阻塞DML 语句
c、保证备份数据的一致性
d、支持文件压缩,支持导出binlog,支持多线程恢复,支持将备份文件切块
e、支持以守护进程模式工作,定时快照和连续二进制日志


2、mydumper语法
mydumper -u [USER] -p [PASSWORD] -h [HOST] -P [PORT] -t [THREADS] -b -c -B [DB] -o [directory]

注意:命令行之间要有空格 -u 用户名  -p 密码 之间必须有空格 
参数说明
  -B, --database              需要备份的库
  -T, --tables-list           需要备份的表,多表,用逗号分隔
  -o, --outputdir             输出文件的目录
  -s, --statement-size        生成插入语句的字节数, 默认 1000000
  -r, --rows                  分裂成很多行块表
  -c, --compress              压缩输出文件
  -e, --build-empty-files     即使表没有数据,还是产生一个空文件
  -x, --regex                 正则表达式: 'db.table'
  -i, --ignore-engines        忽略的存储引擎,用逗号分隔
  -m, --no-schemas            不导出表结构
  -k, --no-locks              不执行共享读锁 警告:这将导致不一致的备份
  -l, --long-query-guard      设置长查询时间,默认60秒
  --kill-long-queries         kill掉长时间执行的查询
  -b, --binlogs               导出binlog
  -D, --daemon                启用守护进程模式
  -I, --snapshot-interval     dump快照间隔时间,默认60s,需要在daemon模式下
  -L, --logfile               日志文件
  -h, --host                  The host to connect to
  -u, --user                  Username with privileges to run the dump
  -p, --password              User password
  -P, --port                  TCP/IP port to connect to
  -S, --socket                UNIX domain socket file to use for connection
  -t, --threads               使用的线程数,默认4
  -C, --compress-protocol     在mysql连接上使用压缩协议
  -V, --version               Show the program version and exit
  -v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2


3、mydumper的工作过程
a、连接目标数据库;
b、通过show processlist来判断是否有长查询,根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;
c、锁定myisam表,flush tables with read lock;针对innodb table开启事务,start transaction;
d、创建worker子线程,缺省为4个;
e、确定候选表,根据类别分别插入innodb_table,non_innodb_table以及table_schemas链表(表结构);
f、将候选表通过g_async_queue_push加入任务队列(队列最后元素是thread shutdown),由worker子线程从队列中读取表信息并执行数据导出 
g、执行unlock tables,处理完myisam表后立即解锁,以减少锁定时间;
h、等待worker退出;


4、备份文件相关信息
a、所有的备份文件在一个目录中,未指定时为当前目录, 且自动生成备份日期时间文件夹,如export-20150703-145806
b、目录中包含一个 metadata 文件,该文件记录了备份时间点的二进制日志文件名,日志的写入位置
c、如果是在从库进行备份,还会记录备份时同步至主库的二进制日志文件及写入位置
d、每个表有两个备份文件:database.table-schema.sql 表结构文件,database.table.sql 表数据文件
e、如果对表文件分片,将生成多个备份数据文件,可以指定行数或指定大小分片

  
5、常用备份示例:
1 备份单个库  
# mydumper -u 用户名 -p 密码 -B 需要备份的库名 -o /tmp/bak

  -B,需要备份的库   -o 输出文件的目录(备份输出指定的目录)

2 备份所有数据库:全库备份期间除了information_schema与performance_schema之外的库都会被备份
# mydumper -u 用户名 -p 密码 -o /tmp/bak

 -o 输出文件的目录(备份输出指定的目录)

3 备份单表
# mydumper -u 用户名 -p 密码 -B 库名 -T 表名 -o /tmp/bak

   -T 需要备份的表,多表用逗号分隔 -o指定输出备份文件路径 

4 备份多表
# mydumper -u 用户名 -p 密码 -B 库名 -T 表1,表2 -o /tmp/bak


5、当前目录自动生成备份日期时间文件夹,不指定-o参数及值时默认为:export-20150703-145806
mydumper -u 用户名 -p 密码 -B 数据库名字 -T 表名


6、不带表结构备份表
# mydumper -u 用户名 -p 密码 -B 数据名字 -T 表名 -m

  -m 不导出表结构

7、压缩备份及连接使用压缩协议(非本地备份时)
# mydumper -u 用户名 -p 密码 -B 数据库名字 -o /tmp/bak -c -C

-c, 压缩输出文件 -C 在mysql连接上使用压缩协议  -o 输出文件的目录(备份输出指定的目录)


8、备份特定表
mydumper -u 用户名 -p 密码 -B 数据库名字  --regex=actor* -o /tmp/bak

只备份以actor*开头的表

-x 正则表达式: 'db.table'  --regex  


9、过滤特定库,如本来不备份mysql及test库
mydumper -u 用户名 -p 密码 -B 数据库名字 --regex '^(?!(mysql|test))' -o /tmp/bak


10、基于空表产生表结构文件
 mydumper -u 用户名 -p 密码 -B 数据库名字 -T 空表 -e -o /tmp/bak

-e 即使表没有数据,还是产生一个空文件 


12、备份时输出详细更多日志
#  mydumper -u 用户名 -p 密码 -B 数据库名字 -T 空表 -v 3 -o /tmp/bak

-v 更多输出, 0 = silent, 1 = errors, 2 = warnings3 = info,详细输出 default 2


11、设置长查询的上限,如果存在比这个还长的查询则退出mydumper,也可以设置杀掉这个长查询
#mydumper -u leshami -p pwd -B sakila --long-query-guard 200 --kill-long-queries


13、导出binlog,使用-b参数,会自动在导出目录生成binlog_snapshot文件夹及binlog
# mydumper -u leshami -p pwd -P 3306 -b -o /tmp/bak


总结:
mysql备份,备份数据库、备份数据表。恢复也是恢复数据库,恢复数据表。

参考:
mysqldump备份恢复详解:

http://blog.csdn.net/u010098331/article/details/50896175

http://blog.csdn.net/u010098331/article/details/50896725

http://www.itopers.com/blog/posts/wp/826.html

http://www.cnblogs.com/linuxnote/p/3817698.html


赠送:


三、使用方法

备份出来的sql文件,文件以数据库开头.表名[-schema].sql,有schema的为表的表结构创建语句,没有的为表数据插入语句。

[root@mysql.dmc.com bin]$./mydumper --database=tools --outputdir=/root/mydumper-0.6.2/test/ 
[root@mysql.dmc.com bin]$cd ot/mydumper-0.6.2/test/
[root@mysql.dmc.com test]$ll -rth 
total 112K
-rw-r--r--. 1 root root  972 Jan  2 18:09 tools.django_session.sql
-rw-r--r--. 1 root root 1.1K Jan  2 18:09 tools.t_guid.sql
-rw-r--r--. 1 root root  423 Jan  2 18:09 tools.t_ftpserver-schema.sql
-rw-r--r--. 1 root root  325 Jan  2 18:09 tools.django_session-schema.sql
-rw-r--r--. 1 root root 1.6K Jan  2 18:09 tools.t_serverinfo-schema.sql-rw-r--r--. 1 root root  133 Jan  2 18:09 metadata
-rw-r--r--. 1 root root  133 Jan  2 18:09 metadata

metadata这个文件记录的是当里的binlog文件及pos,可以使用这个信息搭建slave.

[root@mysql.dmc.com test]$cat metadata 
Started dump at: 2015-01-02 18:09:40
SHOW MASTER STATUS:
        Log: mysql-bin.000006
        Pos: 4196075Finished dump at: 2015-01-02 18:09:40

Finished dump at: 2015-01-02 18:09:40

只备份t_task和t_guid表

[root@mysql.dmc.com bin]$./mydumper --database=tools --outputdir=/root/mydumper-0.6.2/test/ --tables-list=t_task,t_guid

只备份以t_server开通的表

[root@mysql.dmc.com bin]$./mydumper --database=tools --outputdir=/root/mydumper-0.6.2/test/ --regex="tools.t_server*"

-B,--database只能指定一个库备份,如果需要同时备份多个数据库,可能这样:

[root@mysql.dmc.com bin]$./mydumper  --outputdir=/root/mydumper-0.6.2/test/ --regex="beebol.*|tools.*"

--threads并发度

[root@mysql.dmc.com bin]$./mydumper  --outputdir=/root/mydumper-0.6.2/test/ --regex="beebol.*|tools.*" --threads=8

 





版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10071 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10882 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13880 0
mysqldump常用于MySQL数据库逻辑备份
mysqldump常用于MySQL数据库逻辑备份。   1、各种用法说明      A. 最简单的用法: mysqldump -uroot -pPassword [database name] > [dump file]      上述命令将指定数据库备份到某dump文件(转储文件)中,比如: mysqldump -uroot -p123 test > test.dump      生成的test.dump文件中包含建表语句(生成数据库结构哦)和插入数据的insert语句。
1015 0
ArcGIS 客户端跨版本连接Oracle 地理数据库时的兼容性说明
很多用户都会有这样的疑问: 1:我是否可以使用ArcGIS Desktop9.3连接ArcSDE10 2:我是否可以使用ArcGIS 10.
947 0
+关注
白及88
白及
445
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载