slave复制中断 ,别滥用SQL_SLAVE_SKIP_COUNTER

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: slave复制中断 ,别滥用SQL_SLAVE_SKIP_COUNTER 来源:http://blog.chinaunix.net/uid-26364035-id-3588217.html 【问题背景】  1、从库的复制出现中断,如主键冲突;对应的表或者库不存在;基于row复制时,操作的行不存在; 常常大家会通过使用set global SQL_SLAVE_SKIP_COUNTER=n 来跳过导致复制错误的SQL.  2、 使用sql_slave_skip_counter跳过,每一次跳过为一个Binlog event group, 也就相当于一个事务。

slave复制中断 ,别滥用SQL_SLAVE_SKIP_COUNTER

来源:http://blog.chinaunix.net/uid-26364035-id-3588217.html


【问题背景】

 1、从库的复制出现中断,如主键冲突;对应的表或者库不存在;基于row复制时,操作的行不存在;
常常大家会通过使用set global SQL_SLAVE_SKIP_COUNTER=n 来跳过导致复制错误的SQL.

 2、 使用sql_slave_skip_counter跳过,每一次跳过为一个Binlog event group, 也就相当于一个事务。
所以当一个事务中有两个SQL, 第一个SQL导致主从复制中断,然后我们直接使用SQL_SLAVE_SKIP_COUNTER=1跳过错了
其实第二个SQL也不会在slave中执行了,如果第二个SQL影响100行,那么主从就有100行数据不一致了。
所以 我们在跳过之前,一定要看一下,当前binlog event group到底是什么?

下列是延迟从库,因为表不存在,导到主从复制中断的例 
1、查看show slave status的状态
mysql> Show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.4.12.33
          --------------------省略-----------------------------
              Master_Log_File: mysql-bin.000123
          Read_Master_Log_Pos: 334510571
                Relay_Log_File: mysql-relay-bin.000184
                  Relay_Log_Pos: 534584783
        Relay_Master_Log_File: mysql-bin.000112
             Slave_IO_Running: Yes
            Slave_SQL_Running: No
                   Last_Errno: 1146
                    Last_Error: Error 'Table 'dbxxx .table_ general' doesn't exist' on query. Default database: 'dbxxx '. Query: 'truncate table  table_ general '
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 534584637

2、根据slave status中的 Relay_Log_FileRelay_Log_Pos两个值 ,先查看当前被中断的binlog event group操作是什么?
查看的命令:
   show relaylog events in "Relay_Log_File" from Relay_Log_Pos limit n;
  eg.
    mysql> relaylog events in 'mysql-relay-bin.ooo1o4' from 23484738 limit 10;

就可以明显看到,是由于truncate table db58_user_credit_general时, 表db58_user_credit_general不存在, 所以整个binlog group就这一个语句。
处理的方式以下两种都可以:
    1)可以直接使用set global SQL_SLAVE_SKIP_COUNTER=1跳过此binlog event group
    2) set sql_log_bin=OFF;  create table db58_user_credit_general(id int); set sql_log_bin=ON;






相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
Kubernetes 应用服务中间件 nginx
|
6月前
|
关系型数据库 MySQL
navicate远程mysql时报错: connection isbeing used
如果以上方法都无法解决问题,可能需要进一步查看错误日志或考虑联系 Navicat 官方支持获取更详细的帮助。 买CN2云服务器,免备案服务器,高防服务器,就选蓝易云。百度搜索:蓝易云
725 0
|
SQL 缓存 关系型数据库
slave开启MTS时执行mysqldump引发死锁案例(1)
slave开启MTS时执行mysqldump引发死锁案例
slave开启MTS时执行mysqldump引发死锁案例(1)
|
6月前
|
传感器 人工智能 算法
AI技术在智慧城市建设中的应用与前景
传统的城市规划和管理面临诸多挑战,如交通拥堵、资源浪费、环境污染等。随着人工智能技术的发展,其在智慧城市建设中的应用成为解决这些问题的关键。本文将探讨AI技术在智慧城市建设中的应用现状与前景,从智能交通管理、智能能源利用、智慧环境监测等方面进行分析,展望AI技术为智慧城市带来的巨大潜力与发展方向。
|
SQL 关系型数据库 MySQL
slave开启MTS时执行mysqldump引发死锁案例(2)
slave开启MTS时执行mysqldump引发死锁案例
|
弹性计算 人工智能 测试技术
阿里云服务器收费标准、价格计算器和活动报价查询
阿里云服务器收费标准、价格计算器和活动报价查询,阿里云轻量应用服务器2核2G3M带宽轻量服务器一年108元,2核4G4M带宽轻量服务器一年297.98元12个月;ECS云服务器e系列2核2G配置182元一年、2核4G配置365元一年、2核8G配置522元一年
229 0
|
Java Spring 容器
Java:SpringBoot统一异常处理和404异常
Java:SpringBoot统一异常处理和404异常
399 0
|
SQL Java 数据库连接
当Transactional碰到锁,有个大坑,要小心。 (下)
当Transactional碰到锁,有个大坑,要小心。 (下)
332 0
当Transactional碰到锁,有个大坑,要小心。 (下)
|
SQL 存储 缓存
使用shardingsphere-jdbc实现分库功能
项目需要把150W+的用户基础数据进行分库存储,这对于一般的切换数据源的场景已不适用,故选择了shardingsphere-jdbc组件来完成
使用shardingsphere-jdbc实现分库功能
|
SQL 安全
二十三:从库的SQL 线程(MTS协调线程)和sql_slave_skip_counter参数(笔记)
一、调用流程大概如下 handle_slave_sql ->是否开启了slave_preserve_commit_order和log_slave_updates参数,开启的话需要设置提交顺序管理器 if (opt_slave_preserve_commit_order && rli->op...
1040 0