pt-archiver归档工具的使用详解

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

之前的percona-toolkit工具集的使用博文里面也写到pt-archiver这个工具的用法,但是不够深入全面。这里补充完善下。


注意:pt-archiver操作的表必须有主键。

 

查看帮助: perldoc  pt-archiver

 

Specify at least one of "--dest","--file", or "--purge".

下面几个参数都是互斥的,只能选其一

    "--ignore"and "--replace" are mutually exclusive. 

    "--txn-size"and "--commit-each" are mutually exclusive.

    "--low-priority-insert"and "--delayed-insert" are mutually exclusive.

    "--share-lock"and "--for-update" are mutually exclusive.

    "--analyze"and "--optimize" are mutually exclusive.

    "--no-ascend"and "--no-delete" are mutually exclusive.

 

常用的参数:

    --limit10000       每次取1000行数据用pt-archive处理,Number of rows to fetch and archive per statement.

    --txn-size  1000   设置1000行为一个事务提交一次,Number of rows pertransaction.

    --where'id<3000'   设置操作条件

    --progress5000     每处理5000行输出一次处理信息

    --statistics       输出执行过程及最后的操作统计。(只要不加上--quiet,默认情况下pt-archive都会输出执行过程的)

    --charset=UTF8     指定字符集为UTF8

    --bulk-delete      批量删除source上的旧数据(例如每次1000行的批量删除操作)

    --bulk-insert      批量插入数据到dest主机 (destgeneral log发现它是通过在dest主机上LOAD DATA LOCAL INFILE插入数据的)

    --replace          insert into 语句改成replace写入到dest

    --sleep120         每次归档了limit个行记录后的休眠120秒(单位为秒)

    --file'/root/test.txt'

    --purge             删除source数据库的相关匹配记录

    --header            输入列名称到首行(和--file一起使用)

    --no-check-charset  不指定字符集

    --check-columns    检验destsource的表结构是否一致,不一致自动拒绝执行(不加这个参数也行。默认就是执行检查的)

    --no-check-columns    不检验destsource的表结构是否一致,不一致也执行(会导致dest上的无法与source匹配的列值被置为null或者0

    --chekc-interval      默认1s检查一次

    --local            不把optimizeanalyze操作写入到binlog里面(防止造成主从延迟巨大)

    --retries         超时或者出现死锁的话,pt-archiver进行重试的间隔(默认1s

    --no-version-check   目前为止,发现部分pt工具对阿里云RDS操作必须加这个参数

    --analyze=ds      操作结束后,优化表空间(d表示dests表示source

    默认情况下,pt-archiver操作结束后,不会对sourcedest表执行analyzeoptimize操作,因为这种操作费时间,并且需要你提前预估有足够的磁盘空间用于拷贝表。一般建议也是pt-archiver操作结束后,在业务低谷手动执行analyze table用以回收表空间。

 

 

pt-archiverBug不会迁移max(id)那条数据的解决方法:

    参考:http://www.ttlsa.com/mysql/pt-archiver-bug-cannot-migration-max-id-record/

   vim/usr/bin/pt-archiver +6285  ,如下:

    修改前: $first_sql .= " AND ($col < " . $q->quote_val($val) . ")";

    修改后: $first_sql .= " AND ($col <= " . $q->quote_val($val) .")";

 

 

删除老数据(单独的删数据操作不用指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=root,p=1234,P=3306,D=test,t=t \

--no-check-charset --where 'a<=376' --limit 10000 --txn-size 1000 --purge

 

复制数据到其他mysql实例,且不删除source的数据(指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=root,p=1234,P=3306,D=test,t=t1\

--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_bak \

--progress 5000 --where 'mc_id<=125' \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete

 

复制数据到其他mysql实例,并删source上的旧数据(指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=root,p=1234,P=3306,D=test,t=t1 \

--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_his \

--progress 5000 --where "CreateDate <'2017-05-01 00:00:00' " \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --bulk-delete

### 官方文档说明:The normal method isto delete every row by its primary key. Bulk deletes might be a lot faster.They also

mightnot be faster if you have a complex WHERE clause.

 

复制数据到其他mysql实例,不删除source数据,但是使用批量插入dest上新的数据(指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=archiver,p=archiver,P=3306,D=test,t=t1 \

--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_his \

--progress 5000 --where "c <'2017-05-01 00:00:00' " \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete  --bulk-insert

### 测试用的一张只有3列元素的表,共计9万行数据。使用bulk-insert用时7秒钟。而常规insert用时40秒。

 

导出数据到文件:

/usr/bin/pt-archiver \

--source h=10.0.20.26,u=root,p=1234,P=3306,D=test,t=t \

--file '/root/test.txt' \

--progress 5000 --where 'a<12000' \

--no-delete --statistics --charset=UTF8 --limit=10000 --txn-size 1000


导出数据到文件并删除数据库的相关行:

/usr/bin/pt-archiver \

--source h=10.0.20.26,u=root,p=1234,P=3306,D=test,t=t \

--file '/root/test.txt' \

--progress 5000 --where 'a<12000' \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --purge











本文转自 lirulei90 51CTO博客,原文链接:http://blog.51cto.com/lee90/1947357,如需转载请自行联系原作者
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
6月前
|
Java 调度
ThreadPoolExecutor解析
本文深入解析了Java中`ThreadPoolExecutor`的实现原理,帮助理解线程池的工作机制。核心内容包括任务队列`workQueue`、线程工厂`ThreadFactory`、拒绝策略`RejectedExecutionHandler`等关键成员的作用。通过`submit`和`execute`方法的执行流程,展示了线程池如何根据`corePoolSize`和`maximumPoolSize`动态调整线程数量,并结合`keepAliveTime`管理空闲线程。最后分析了`Worker`类的`run`方法,揭示线程池通过循环从队列中获取任务并执行的核心逻辑。
184 0
|
12月前
|
安全
C 标准库 - <errno.h>详解
`&lt;errno.h&gt;` 是 C 标准库中的错误处理头文件,定义了全局变量 `errno` 和一系列错误代码宏,如 `ENOMEM`(内存不足)、`EINVAL`(无效参数)等,用于检测和处理函数调用中的错误。在调用可能引发错误的函数前后应检查和清零 `errno` 以准确识别错误原因。
|
NoSQL Redis 监控
redis-shake数据同步&迁移&备份导入导出工具使用介绍
redis-shake是阿里云Redis&MongoDB团队开源的用于redis数据同步的工具。
71382 4
redis-shake数据同步&迁移&备份导入导出工具使用介绍
|
存储 关系型数据库 数据库
经验大分享:PostgreSQL学习之【用户权限管理】说明
经验大分享:PostgreSQL学习之【用户权限管理】说明
707 1
|
缓存 Docker 容器
【docker hub镜像源失效】2024年6月6日 docker 国内镜像源失效
【docker hub镜像源失效】2024年6月6日 docker 国内镜像源失效
|
关系型数据库 MySQL Shell
Mac安装Mysql(图文解说详细版)
Mac安装Mysql(图文解说详细版)
Mac安装Mysql(图文解说详细版)
|
Docker 容器
docker-compose 离线安装部署
前言:之前做了一个医院的项目,一般医院使用的服务器都是内网环境,所以自己整合了一下Docker离线部署的方法分享给大家。
1775 0
|
关系型数据库 MySQL OLTP
使用pt-archiver工具进行MySQL数据库迁移
pt-archiver是Percona-Toolkit工具集中的一个组件,可以用于对MySQL表数据进行归档和清除。
1145 0
使用pt-archiver工具进行MySQL数据库迁移
|
SQL 存储 算法
MyBatis-Plus详解
MyBatis-Plus详解
419 0
|
Python
Python编程:aiohttp和requests网络io性能比较
使用4 种方式 对网络发起10次请求,进行10次耗时测试
300 0
Python编程:aiohttp和requests网络io性能比较