加快xtrabackup备份速度

简介:

xtrabackup已家喻户晓,如果面临xtrabackup进行远程备份,时间大多花在网络传输中,受orzhou 大师 tar+lz4/pigz+ssh更快的数据传输 的启发,可以采用边压缩边传输的方式:

   线上xtrabackup采用stream备份方式,传送到远端机器;

   原先的流程是:磁盘读取-->打包-->传输-->落盘

   采用“边压缩边传输”的方式(最重要还是要选好工具),

wKiom1LPqlOjJugGAABQ8sSt4F4117.jpg

   流程分为: 磁盘读取,tar打包,压缩 ,传输,[解压缩 ,拆包 可选],落盘

   最理想的情况下是,几个关键步骤都能达到速度的顶峰,提升速度最慢的那个(解压缩过程),减少“木桶效应”的影响;更多压缩工具测试请参考:Gzip vs Bzip2 vs LZMA vs XZ vs LZ4 vs LZO

   xtrabackup远程备份可改为:

1
/usr/bin/innobackupex  --slave-info --safe-slave-backup --user=mysqlbackup --password=xxx  --defaults- file =xxx --port=xxx --socket=xxx  --stream= tar  /tmp/  2>> /tmp/mysqlbackup .log |lz4 -B4|   ssh  -c aes192-cbc -o  "MACs umac-64@openssh.com"   mysqlbackup@xxx   "lz4 -d | tar -xiC /data/xxxxxxx"

   

1
2
3
4
unpigz - cd  test .tgz  | pv |  tar  -xC  /usr/local/src/
// 简单记录下 pigz 的解压
-c, --stdout         Write all processed output to stdout (won't delete)
-d, --decompress     Decompress the compressed input





本文转自 位鹏飞 51CTO博客,原文链接:http://blog.51cto.com/weipengfei/1350449,如需转载请自行联系原作者
目录
相关文章
|
SQL NoSQL AliSQL
MySQL RENAME hang问题分析与修复
问题现象:alter 过程 rename 文件一直失败,导致 crash。[Warning] InnoDB: Cannot rename file ./tradesupplymember/memberpropertyinfo_0024.ibd (space id 78102), retried 1000 times. There are either pending IOs or flushes 
867 0
MySQL RENAME hang问题分析与修复
|
JSON NoSQL MongoDB
MongoDB 数据导出和导入 大全
MongoDB 数据导出和导入 大全
696 0
|
消息中间件 Java Kafka
kafka Linux环境搭建安装及命令创建队列生产消费消息
kafka Linux环境搭建安装及命令创建队列生产消费消息
469 4
|
存储 关系型数据库 MySQL
利用Xtrabackup进行mysql增量备份和全量备份
利用Xtrabackup进行mysql增量备份和全量备份
1494 0
|
存储 负载均衡 中间件
Nginx反向代理配置详解,图文全面总结,建议收藏
Nginx 是大型架构必备中间件,也是大厂喜欢考察的内容,必知必会。本篇全面详解 Nginx 反向代理及配置,建议收藏。
Nginx反向代理配置详解,图文全面总结,建议收藏
|
安全 关系型数据库 MySQL
揭秘MySQL海量数据迁移终极秘籍:从逻辑备份到物理复制,解锁大数据迁移的高效与安全之道
【8月更文挑战第2天】MySQL数据量很大的数据库迁移最优方案
1564 17
|
存储 Shell 数据安全/隐私保护
minio一键安装脚本分享(shell和python)
minio一键安装脚本分享(shell和python)
637 0
|
存储 负载均衡 NoSQL
MongoDB的架构设计基于三种集群模式
【6月更文挑战第5天】MongoDB的架构设计基于三种集群模式
703 3
|
应用服务中间件 nginx
nginx更改配置文件后重启
nginx更改配置文件后重启
847 1
|
开发工具 数据安全/隐私保护 git
关于gitee的使用和svn小乌龟的安装及使用
关于gitee的使用和svn小乌龟的安装及使用
1348 0

热门文章

最新文章