加快xtrabackup备份速度

简介:

xtrabackup已家喻户晓,如果面临xtrabackup进行远程备份,时间大多花在网络传输中,受orzhou 大师 tar+lz4/pigz+ssh更快的数据传输 的启发,可以采用边压缩边传输的方式:

   线上xtrabackup采用stream备份方式,传送到远端机器;

   原先的流程是:磁盘读取-->打包-->传输-->落盘

   采用“边压缩边传输”的方式(最重要还是要选好工具),

wKiom1LPqlOjJugGAABQ8sSt4F4117.jpg

   流程分为: 磁盘读取,tar打包,压缩 ,传输,[解压缩 ,拆包 可选],落盘

   最理想的情况下是,几个关键步骤都能达到速度的顶峰,提升速度最慢的那个(解压缩过程),减少“木桶效应”的影响;更多压缩工具测试请参考:Gzip vs Bzip2 vs LZMA vs XZ vs LZ4 vs LZO

   xtrabackup远程备份可改为:

1
/usr/bin/innobackupex  --slave-info --safe-slave-backup --user=mysqlbackup --password=xxx  --defaults- file =xxx --port=xxx --socket=xxx  --stream= tar  /tmp/  2>> /tmp/mysqlbackup .log |lz4 -B4|   ssh  -c aes192-cbc -o  "MACs umac-64@openssh.com"   mysqlbackup@xxx   "lz4 -d | tar -xiC /data/xxxxxxx"

   

1
2
3
4
unpigz - cd  test .tgz  | pv |  tar  -xC  /usr/local/src/
// 简单记录下 pigz 的解压
-c, --stdout         Write all processed output to stdout (won't delete)
-d, --decompress     Decompress the compressed input





本文转自 位鹏飞 51CTO博客,原文链接:http://blog.51cto.com/weipengfei/1350449,如需转载请自行联系原作者
目录
相关文章
|
SQL NoSQL AliSQL
MySQL RENAME hang问题分析与修复
问题现象:alter 过程 rename 文件一直失败,导致 crash。[Warning] InnoDB: Cannot rename file ./tradesupplymember/memberpropertyinfo_0024.ibd (space id 78102), retried 1000 times. There are either pending IOs or flushes 
683 0
MySQL RENAME hang问题分析与修复
|
JSON NoSQL MongoDB
MongoDB 数据导出和导入 大全
MongoDB 数据导出和导入 大全
489 0
|
API 索引
es实战-分片分配失败解决方案
分片无法分配情况的一些解决办法
2564 0
|
存储 Shell 数据安全/隐私保护
minio一键安装脚本分享(shell和python)
minio一键安装脚本分享(shell和python)
344 0
|
应用服务中间件 nginx
nginx更改配置文件后重启
nginx更改配置文件后重启
553 1
大陆、港澳台身份证、护照、军官证的正则表达式
大陆、港澳台身份证、护照、军官证的正则表达式
1833 0
|
缓存 NoSQL Java
lua脚本在redis中的使用场景
lua脚本在redis中的使用场景
425 0
|
存储 缓存 分布式计算
阿里云服务器8核16G配置2024最新活动价格及选择建议参考
阿里云服务器8核16G配置有将近二十种实例规格可选,2024年,经济型e、通用算力型u1、计算型c7和计算型c8y实例8核16G配置的云服务器有优惠,价格最低的是经济型e实例,8核16G配置的活动价格只要3084.36元/1年。活动价格最高的计算型c7实例8核16G也只要6124.18元/1年起,下面是2024年截至目前阿里云服务器8核16G配置最新活动价格及选择建议参考。
阿里云服务器8核16G配置2024最新活动价格及选择建议参考
|
存储 NoSQL 算法
Redis过期处理策略、惰性删除、定期删除、RDB和AOF、内存淘汰机制
Redis过期处理策略、惰性删除、定期删除、RDB和AOF、内存淘汰机制
505 0
|
缓存 Java 程序员
2023年最新无脑安装 Go lang 环境配置并编写、运行、打包第一个 Golang 程序详细步骤,附带图文教程
GO语言也称为Golang,由谷歌出品,随着云计算的发展而不断壮大,近年来,使用GO语言的程序员越来越多,GO程序员一般被称为GOpher。由于博主硬盘空间较为充足,不考虑移动软件安装目录,需要者请自行寻找方法,本文为无脑操作。
568 0
2023年最新无脑安装 Go lang 环境配置并编写、运行、打包第一个 Golang 程序详细步骤,附带图文教程