pt-archiver归档工具的使用详解

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

之前的percona-toolkit工具集的使用博文里面也写到pt-archiver这个工具的用法,但是不够深入全面。这里补充完善下。


注意:pt-archiver操作的表必须有主键。

 

查看帮助: perldoc  pt-archiver

 

Specify at least one of "--dest","--file", or "--purge".

下面几个参数都是互斥的,只能选其一

    "--ignore"and "--replace" are mutually exclusive. 

    "--txn-size"and "--commit-each" are mutually exclusive.

    "--low-priority-insert"and "--delayed-insert" are mutually exclusive.

    "--share-lock"and "--for-update" are mutually exclusive.

    "--analyze"and "--optimize" are mutually exclusive.

    "--no-ascend"and "--no-delete" are mutually exclusive.

 

常用的参数:

    --limit10000       每次取1000行数据用pt-archive处理,Number of rows to fetch and archive per statement.

    --txn-size  1000   设置1000行为一个事务提交一次,Number of rows pertransaction.

    --where'id<3000'   设置操作条件

    --progress5000     每处理5000行输出一次处理信息

    --statistics       输出执行过程及最后的操作统计。(只要不加上--quiet,默认情况下pt-archive都会输出执行过程的)

    --charset=UTF8     指定字符集为UTF8

    --bulk-delete      批量删除source上的旧数据(例如每次1000行的批量删除操作)

    --bulk-insert      批量插入数据到dest主机 (destgeneral log发现它是通过在dest主机上LOAD DATA LOCAL INFILE插入数据的)

    --replace          insert into 语句改成replace写入到dest

    --sleep120         每次归档了limit个行记录后的休眠120秒(单位为秒)

    --file'/root/test.txt'

    --purge             删除source数据库的相关匹配记录

    --header            输入列名称到首行(和--file一起使用)

    --no-check-charset  不指定字符集

    --check-columns    检验destsource的表结构是否一致,不一致自动拒绝执行(不加这个参数也行。默认就是执行检查的)

    --no-check-columns    不检验destsource的表结构是否一致,不一致也执行(会导致dest上的无法与source匹配的列值被置为null或者0

    --chekc-interval      默认1s检查一次

    --local            不把optimizeanalyze操作写入到binlog里面(防止造成主从延迟巨大)

    --retries         超时或者出现死锁的话,pt-archiver进行重试的间隔(默认1s

    --no-version-check   目前为止,发现部分pt工具对阿里云RDS操作必须加这个参数

    --analyze=ds      操作结束后,优化表空间(d表示dests表示source

    默认情况下,pt-archiver操作结束后,不会对sourcedest表执行analyzeoptimize操作,因为这种操作费时间,并且需要你提前预估有足够的磁盘空间用于拷贝表。一般建议也是pt-archiver操作结束后,在业务低谷手动执行analyze table用以回收表空间。

 

 

pt-archiverBug不会迁移max(id)那条数据的解决方法:

    参考:http://www.ttlsa.com/mysql/pt-archiver-bug-cannot-migration-max-id-record/

   vim/usr/bin/pt-archiver +6285  ,如下:

    修改前: $first_sql .= " AND ($col < " . $q->quote_val($val) . ")";

    修改后: $first_sql .= " AND ($col <= " . $q->quote_val($val) .")";

 

 

删除老数据(单独的删数据操作不用指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=root,p=1234,P=3306,D=test,t=t \

--no-check-charset --where 'a<=376' --limit 10000 --txn-size 1000 --purge

 

复制数据到其他mysql实例,且不删除source的数据(指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=root,p=1234,P=3306,D=test,t=t1\

--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_bak \

--progress 5000 --where 'mc_id<=125' \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete

 

复制数据到其他mysql实例,并删source上的旧数据(指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=root,p=1234,P=3306,D=test,t=t1 \

--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_his \

--progress 5000 --where "CreateDate <'2017-05-01 00:00:00' " \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --bulk-delete

### 官方文档说明:The normal method isto delete every row by its primary key. Bulk deletes might be a lot faster.They also

mightnot be faster if you have a complex WHERE clause.

 

复制数据到其他mysql实例,不删除source数据,但是使用批量插入dest上新的数据(指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=archiver,p=archiver,P=3306,D=test,t=t1 \

--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_his \

--progress 5000 --where "c <'2017-05-01 00:00:00' " \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete  --bulk-insert

### 测试用的一张只有3列元素的表,共计9万行数据。使用bulk-insert用时7秒钟。而常规insert用时40秒。

 

导出数据到文件:

/usr/bin/pt-archiver \

--source h=10.0.20.26,u=root,p=1234,P=3306,D=test,t=t \

--file '/root/test.txt' \

--progress 5000 --where 'a<12000' \

--no-delete --statistics --charset=UTF8 --limit=10000 --txn-size 1000


导出数据到文件并删除数据库的相关行:

/usr/bin/pt-archiver \

--source h=10.0.20.26,u=root,p=1234,P=3306,D=test,t=t \

--file '/root/test.txt' \

--progress 5000 --where 'a<12000' \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --purge











本文转自 lirulei90 51CTO博客,原文链接:http://blog.51cto.com/lee90/1947357,如需转载请自行联系原作者
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
7月前
ApacheHudi Archive(归档)实现分析
ApacheHudi Archive(归档)实现分析
88 0
|
存储 Oracle 关系型数据库
EBS 清理附件表空间apps_ts_media表空间内附件fnd_lobs
参考文档: Avoiding abnormal growth of FND_LOBS table in Applications 11i [ID 298698.
1530 0
|
关系型数据库 MySQL OLTP
使用pt-archiver工具进行MySQL数据库迁移
pt-archiver是Percona-Toolkit工具集中的一个组件,可以用于对MySQL表数据进行归档和清除。
829 0
使用pt-archiver工具进行MySQL数据库迁移
|
监控 关系型数据库 MySQL
优雅地使用pt-archiver进行数据归档
一、引言 最近由于业务需求,需要将公有云RDS(业务库)的大表数据归档至私有云MySQL(历史库),以缩减公有云RDS的体积和成本。 那么问题来了,数据归档的方式有n种,选择哪种呢?经过一番折腾,发现使用percona的pt-archiver就可以轻松并优雅地对MySQL进行数据归档。
10269 0
|
Oracle 关系型数据库 测试技术
Oracle Data Guard压缩归档测试(二)(r12笔记第27天)
昨天对Data Guard的归档压缩进行了一个初步的测试,我今天又做了一些补充。    1.昨天测试的是默认50M的redo,如果redo增大,在IO bound的场景中,是否有很大的变化    2.对于归档压缩来说,数据量如果增大,是否会有较大的抖动,昨天测试的是20G的数据量,初始化了50%    3.对于整个数据初始化的过程中,主备的延迟到底有多大,是否有延迟回落的现象。
1297 0
|
Oracle 关系型数据库 数据库
闪回数据归档(Flashback Data Archive)
闪回数据归档 虽然ORA-01555错误可以通过种种手段来避免和减少,但是随着时间的流逝,这些UNDO信息总会失去,那么能否将这些信息保存起来,使得数据库在一定的历史周期之内可以不断向后追溯,使得我们可以看到一个数据表在任意历史时间点上的切片呢?   从Oracle Database 11g开始,Oracle 提供了一个这样的功能:闪回数据归档(Flashback Data Archive)。
1196 0
|
测试技术 数据库管理
[20160329]bbed修复offline的数据文件.txt
[20160329]bbed修复offline的数据文件.txt --测试数据库,不小心将一个数据文件offline了,archivelog也删除了(主要磁盘空间紧张,做了一次整理)。
907 0
|
Oracle 关系型数据库 Linux
1207catalog copy的数据文件作为0级备份2
[20151207]catalog copy的数据文件作为0级备份补充.txt --  前一阵子写了1篇blog,使用热备份模式备份的文件是否可以作为0级备份。 --  以及使用backpup as copy备份的数据文件是否可以作为0级备份. --  链接:http://blog.itpub.net/267265/viewspace-1832475/ --  当时困惑的是使用catalog datafilecopy '/home/oracle/backup/datafile_4_USERS.dbf' level 0 ;作为0级。
966 0