slave复制中断 ,别滥用SQL_SLAVE_SKIP_COUNTER

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: slave复制中断 ,别滥用SQL_SLAVE_SKIP_COUNTER 来源:http://blog.chinaunix.net/uid-26364035-id-3588217.html 【问题背景】  1、从库的复制出现中断,如主键冲突;对应的表或者库不存在;基于row复制时,操作的行不存在; 常常大家会通过使用set global SQL_SLAVE_SKIP_COUNTER=n 来跳过导致复制错误的SQL.  2、 使用sql_slave_skip_counter跳过,每一次跳过为一个Binlog event group, 也就相当于一个事务。

slave复制中断 ,别滥用SQL_SLAVE_SKIP_COUNTER

来源:http://blog.chinaunix.net/uid-26364035-id-3588217.html


【问题背景】

 1、从库的复制出现中断,如主键冲突;对应的表或者库不存在;基于row复制时,操作的行不存在;
常常大家会通过使用set global SQL_SLAVE_SKIP_COUNTER=n 来跳过导致复制错误的SQL.

 2、 使用sql_slave_skip_counter跳过,每一次跳过为一个Binlog event group, 也就相当于一个事务。
所以当一个事务中有两个SQL, 第一个SQL导致主从复制中断,然后我们直接使用SQL_SLAVE_SKIP_COUNTER=1跳过错了
其实第二个SQL也不会在slave中执行了,如果第二个SQL影响100行,那么主从就有100行数据不一致了。
所以 我们在跳过之前,一定要看一下,当前binlog event group到底是什么?

下列是延迟从库,因为表不存在,导到主从复制中断的例 
1、查看show slave status的状态
mysql> Show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.4.12.33
          --------------------省略-----------------------------
              Master_Log_File: mysql-bin.000123
          Read_Master_Log_Pos: 334510571
                Relay_Log_File: mysql-relay-bin.000184
                  Relay_Log_Pos: 534584783
        Relay_Master_Log_File: mysql-bin.000112
             Slave_IO_Running: Yes
            Slave_SQL_Running: No
                   Last_Errno: 1146
                    Last_Error: Error 'Table 'dbxxx .table_ general' doesn't exist' on query. Default database: 'dbxxx '. Query: 'truncate table  table_ general '
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 534584637

2、根据slave status中的 Relay_Log_FileRelay_Log_Pos两个值 ,先查看当前被中断的binlog event group操作是什么?
查看的命令:
   show relaylog events in "Relay_Log_File" from Relay_Log_Pos limit n;
  eg.
    mysql> relaylog events in 'mysql-relay-bin.ooo1o4' from 23484738 limit 10;

就可以明显看到,是由于truncate table db58_user_credit_general时, 表db58_user_credit_general不存在, 所以整个binlog group就这一个语句。
处理的方式以下两种都可以:
    1)可以直接使用set global SQL_SLAVE_SKIP_COUNTER=1跳过此binlog event group
    2) set sql_log_bin=OFF;  create table db58_user_credit_general(id int); set sql_log_bin=ON;






相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
应用服务中间件 nginx Docker
使用nginx进行http以及socket端口转发(快速提高docker开发效率)
本文介绍如何使用nginx进行http以及socket端口转发以快速提高docker开发效率
|
SQL 关系型数据库 MySQL
slave开启MTS时执行mysqldump引发死锁案例(2)
slave开启MTS时执行mysqldump引发死锁案例
269 0
|
SQL 缓存 关系型数据库
slave开启MTS时执行mysqldump引发死锁案例(1)
slave开启MTS时执行mysqldump引发死锁案例
slave开启MTS时执行mysqldump引发死锁案例(1)
|
5月前
|
Kubernetes Cloud Native Docker
如何将自己的镜像使用 helm 部署
如何将自己的镜像使用 helm 部署
130 0
如何将自己的镜像使用 helm 部署
|
关系型数据库 数据库 PostgreSQL
PostgreSQL 11 新特性解读 : Initdb/Pg_resetwal支持修改WAL文件大小
PostgreSQL 11 版本的一个重要调整是支持 initdb 和 pg_resetwal 修改 WAL 文件大小,而 11 版本之前只能在编译安装 PostgreSQL 时设置 WAL 文件大小。
8727 0
|
关系型数据库 MySQL Java
Mysql开启ssl加密协议及Java客户端配置操作指南
本文主要讲述的是Mysql开启了ssl协议之后,Java客户端如何正确的链接Mysql访问数据
Mysql开启ssl加密协议及Java客户端配置操作指南
|
SQL 运维 监控
PostgreSQL 性能优化和体系化运维(二)|学习笔记
快速学习 PostgreSQL 性能优化和体系化运维(二)
170 0
PostgreSQL 性能优化和体系化运维(二)|学习笔记
|
Arthas 监控 IDE
Cloud Toolkit云插件的使用
Cloud Toolkit是阿里云官方出品的一款插件,可以有效提高工程师开发、测试、部署、监控效率,它的远程监控诊断是通过Arthas实现的。
322 0
LXJ
|
网络协议 安全 关系型数据库
PostgreSQL---用户权限管理
PostgreSQL---用户权限管理
LXJ
1700 0
PostgreSQL---用户权限管理
|
SQL 安全
二十三:从库的SQL 线程(MTS协调线程)和sql_slave_skip_counter参数(笔记)
一、调用流程大概如下 handle_slave_sql ->是否开启了slave_preserve_commit_order和log_slave_updates参数,开启的话需要设置提交顺序管理器 if (opt_slave_preserve_commit_order && rli->op...
997 0