mysql 数据一致性校验

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

工作上需要把一个从库提升为主库,但对从库和主库的数据一致性不能保证一样,所以就利用

pt-table-checksum 工作来检查主从的一致性,操作前需要注意的事项:


     (1)在有些情况下,recursion-method如果不设会报错:Diffs cannot be detected because no slaves were found. 其参数有四:processlist/hosts/dsn=DSN/no,用来决定查找slave的方式是show full processlist还是show slave  hosts还是命令行直接指定还是压根就不准备找从库,具体见下面参数介绍

     (2)主从的端口必须一致,如果不一致就需要用DSN方法进行指定,否则会报找不到从库的错误,如果能连到从库服务器但没有指定端口,默认会寻找3306端口

     (3)被检查的主从binlog_format必须为statement,如果不是statement-based,那就添加参数--no-check-binlog-format来避开binlog格式检查

     (4)检查结果会输出到默认建立的percona库中的checksums表中,并会输出统计信息到屏幕,diffs列展示主从数据不一致的块的数目,如果都是0,恭喜,数据是一致的

    (5)表的数据是唯一性,有主键或者唯一约束

    (6)该工具检查的表,需要检查连接的帐号需要有很高的权限,在一般权限行需要加SELECT, PROCESS, SUPER, REPLICATION SLAVE等权限

    (7)该工具检查的是数据,若表不存在是会报错的

    (8)指定多个库或者表,中间用逗号隔开即可

    (9)还原的时候会锁表,主要是通过record lock 和gap lock结合(主要是delete和replace操作,具体还要看事务隔离级别,这里说的是RR隔离级别)

实验环境、测试过程简单描述:

1、搭建好主从库,然后在主库添加一个pt使用的用户,测试给all 权限

 GRANT all privileges ON *.* TO 'dlan'@'%' IDENTIFIED BY 'root123';

2、在主库上执行命令,对指定的库进行检查:

/usr/bin/pt-table-checksum h="192.168.15.57",u='dlan',p='root123',P=5700 -d dbconfig --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format --recursion-method=processlist;

   TS ERRORS     DIFFS     ROWS  CHUNKS SKIPPED    TIME TABLE

01-16T16:47:00      0      0        2       1       0   0.461 dbconfig.checksums

01-16T16:47:00      0      0        2       1       0   0.346 dbconfig.mysql_backup_list

01-16T16:47:01      0      0       13       1       0   0.343 dbconfig.mysql_backup_log

在数据一致的情况下,都为0


3、在从库上操作,删除数据

truncate table mysql_backup_log;

4、在主库上执行:

/usr/bin/pt-table-checksum h="192.168.15.57",u='dlan',p='root123',P=5700 -d dbconfig --nocheck-replication-filters --replicate=test.checksums --no-check-binlog-format --recursion-method=processlist;


 TS             ERRORS    DIFFS     ROWS  CHUNKS SKIPPED    TIME TABLE

01-16T17:01:08      0      0        2       1       0   0.351 dbconfig.checksums

01-16T17:01:08      0      0        2       1       0   0.342 dbconfig.mysql_backup_list

01-16T17:01:09      0      1       13       1       0   0.344 dbconfig.mysql_backup_log


删除了表里的数据,DIFFS值为1


4、在主从上执行SQL,会看到不一样的结果。

SELECT db,tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks FROM test.checksums WHERE ( master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)) GROUP BY db, tbl;


5、因为从库删除了数据,所以通过pt-table-sync来恢复,命令:

  1、打印不一致的数据:

 /usr/local/bin/pt-table-sync --print --replicate test.checksums --sync-to-master h='从库的IP地址',u='dlan',p='root123',P=5700

  2、执行恢复主从一致的数据:

/usr/local/bin/pt-table-sync --execute --replicate test.checksums --sync-to-master h='从库的IP地址',u='dlan',p='root123',P=5700


#--sync-to-master :指定一个DSN,即从的IP,他会通过show processlist或show slave status 去自动的找主。


#--replicate :指定通过pt-table-checksum得到的表,这2个工具差不多都会一直用。


#--print :打印,但不执行命令。


#--execute  :执行命令。

本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/1892349


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
缓存 NoSQL 关系型数据库
亿级电商流量,高并发下Redis与MySQL的数据一致性如何保证
你们有多少人是被面试官问到过Redis和MySQL的数据一致性如何保证的? 你们是否考虑过在高并发场景下,Redis与MySQL的同步会有哪些问题?该如何解决? 本篇文章会带大家详细了解,让你知其然,知其所以然,吊打面试官。
360 0
亿级电商流量,高并发下Redis与MySQL的数据一致性如何保证
|
2月前
|
监控 NoSQL 关系型数据库
在进行RDS(例如阿里云的RDS)数据迁移后,评估数据一致性
在进行RDS(例如阿里云的RDS)数据迁移后,评估数据一致性
126 3
|
2月前
|
关系型数据库 测试技术 数据库
rds迁移前准备数据一致性保障
rds迁移前准备数据一致性保障
103 5
|
3月前
|
缓存 NoSQL 关系型数据库
掘地三尺搞定 Redis 与 MySQL 数据一致性问题
掘地三尺搞定 Redis 与 MySQL 数据一致性问题
126582 3
|
3月前
|
缓存 NoSQL 关系型数据库
如何保障mysql和redis之间的数据一致性?
如何保障mysql和redis之间的数据一致性?
446 0
|
3月前
|
NoSQL 算法 关系型数据库
redis与mysql的数据一致性问题( 网络分区)
redis与mysql的数据一致性问题( 网络分区)
23 0
|
3月前
|
存储 NoSQL 关系型数据库
redis与mysql的数据一致性问题(并发更新)
redis与mysql的数据一致性问题(并发更新)
27 0
|
3月前
|
存储 NoSQL 关系型数据库
redis与mysql的数据一致性问题(数据丢失)
redis与mysql的数据一致性问题(数据丢失)
14 0
|
3月前
|
NoSQL 关系型数据库 MySQL
redis与mysql的数据一致性问题(事务一致性)
redis与mysql的数据一致性问题(事务一致性)
29 0
|
3月前
|
缓存 NoSQL 关系型数据库
redis与mysql的数据一致性问题(数据同步延迟)
redis与mysql的数据一致性问题(数据同步延迟)
18 0