MySQL主主同步主键冲突处理

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 两台数据库都报slave同步失败了,先说明一下环境,架构:lvs+keepalived+amoeba+mysql,主主复制,单台写入,主1:192.

两台数据库都报slave同步失败了,先说明一下环境,架构:lvs+keepalived+amoeba+mysql,主主复制,单台写入,
主1:192.168.0.223(写)
主2:192.168.0.230
好吧,先show slave status \G看一下同步失败的具体报错吧
登录主2库查看:
mysql> show slave status \G 
*************************** 1. row *************************** 
Slave_IO_State: 
Master_Host: 192.168.0.223 
Master_User: slave 
Master_Port: 13204 
Connect_Retry: 60 
Master_Log_File: mysql-bin.000009 
Read_Master_Log_Pos: 50419 
Relay_Log_File: mysqld-relay-bin.000014 
Relay_Log_Pos: 34626 
Relay_Master_Log_File: mysql-bin.000009 
Slave_IO_Running: No 
Slave_SQL_Running: No 
Replicate_Do_DB: 
Replicate_Ignore_DB: mysql,information_schema,performance_schema,test,mysql,information_schema,performance_schema,test
Replicate_Do_Table: 
Replicate_Ignore_Table: 
Replicate_Wild_Do_Table: 
Replicate_Wild_Ignore_Table: 
Last_Errno: 1062 
Last_Error: Error 'Duplicate entry '1329544' for key 'PRIMARY'' on query. Default database: 'data'. Query: 'insert into kn_chongzhi(orderid,aa,buyNum,state,type,create_time,fac,cc,flag) 
values(20130702173025036581,15935779926,1,0,'SJ',1372757425,'30.27','30',100)' 
Skip_Counter: 0 
Exec_Master_Log_Pos: 34480 
Relay_Log_Space: 51171 
Until_Condition: None 
Until_Log_File: 
Until_Log_Pos: 0 
Master_SSL_Allowed: No 
Master_SSL_CA_File: 
Master_SSL_CA_Path: 
Master_SSL_Cert: 
Master_SSL_Cipher: 
Master_SSL_Key: 
Seconds_Behind_Master: NULL 
Master_SSL_Verify_Server_Cert: No 
Last_IO_Errno: 0 
Last_IO_Error: 
Last_SQL_Errno: 1062 
Last_SQL_Error: Error 'Duplicate entry '1329544' for key 'PRIMARY'' on query. Default database: 'data'. Query: 'insert into kn_chongzhi(orderid,aa,buyNum,state,type,create_time,fac,cc,flag) 
values(20130702173025036581,15935779926,1,0,'SJ',1372757425,'30.27','30',100)' 
Replicate_Ignore_Server_Ids: 
Master_Server_Id: 2 
1 row in set (0.00 sec)

尼玛,苦逼的又是主键冲突,先查看一下这张表的结构:
mysql> desc  kn_chongzhi; 
+-------------+-----------------+------+-----+---------+----------------+ 
| Field      | Type            | Null | Key | Default | Extra          | 
+-------------+-----------------+------+-----+---------+----------------+ 
| id          | int(10)        | NO  | PRI | NULL    | auto_increment | 
| aa    | varchar(32)    | NO  | MUL | NULL    |                | 
| bizOfferId  | varchar(32)    | NO  |    | NULL    |                | 
| number      | varchar(20)    | NO  | MUL | NULL    |                | 
| cc      | float(10,2)    | NO  |    | NULL    |                | 
| fac  | float(10,2)    | YES  |    | 0.00    |                | 
| buyNum      | int(10)        | NO  |    | NULL    |                | 
| state      | tinyint(4)      | NO  |    | 0      |                | 
| type        | enum('SJ','QB') | NO  |    | SJ      |                | 
| create_time | int(11)        | NO  |    | NULL    |                | 
| update_time | int(11)        | NO  |    | NULL    |                | 
| flag        | int(10)        | NO  |    | 0      |                | 
+-------------+-----------------+------+-----+---------+----------------+ 
12 rows in set (0.00 sec)

想必大家已经知道问题是这么产生的了,这里我再大体的说一下,可能有些人还不明白哈,回头看前面的架构,引起 这个问题的原因是主1的网络抖动,导致amoeba把写切到了主2,主1的网络好了,写又切回了主1,由于主键ID是自曾的,所以就出现了这个问题,我举个例子:
开始是写主1的,已经写6条数据(id=1、2、3、4、5、6),突然主1网络抖动,开始在主2写了三条(id=7、8、9),主1的网络又恢复了,写又在主1上了(id=7、8、9、10、。。。。),这时,主1要把id=7、8、9、10.。。。。的数据复制给主2,主2 要把id=7、8、9三条数据复制给主1,这不就傻逼了吗?
处理的过程:
1、在两个库上stop slave;
2、在主2上执行select * from kn_chongzhi where id>=1329544\G (查看在主2上写了几条数据)
mysql> select * from kn_chongzhi where id>=1329544\G 
*************************** 3661. row *************************** 
id: 1329545 
aa: 20130702213504529562 
bizOfferId: DK201307021139565210 
number: 13991056094 
cc: 30.00 
fac: 30.22 
buyNum: 1 
state: 2 
type: SJ 
create_time: 1372772104 
update_time: 1372772474 
flag: 100 
*************************** 3662. row *************************** 
id: 1329546 
aa: 20130702213506629648 
bizOfferId: DK201307021139588209 
number: 15511391791 
cc: 30.00 
fac: 30.17 
buyNum: 1 
state: 0 
type: SJ 
create_time: 1372772106 
update_time: 0 
flag: 100 
*************************** 3663. row *************************** 
id: 1329547 
aa: 20130702213516595293 
bizOfferId: DK201307021139758209 
number: 13615611693 
cc: 100.00 
fac: 99.85 
buyNum: 1 
state: 2 
type: SJ 
create_time: 1372772116 
update_time: 1372772315 
flag: 101

 
3、在主2上delete from kn_chongzhi where id>=1329544;  并设置自曾ID从1329545开始
mysql> delete from kn_chongzhi where id>=1329544; 
Query OK, 0 rows affected (0.00 sec) 
mysql> alter table kn_chongzhi auto_increment=1329545; 
Query OK, 0 rows affected (0.15 sec) 
Records: 0  Duplicates: 0  Warnings: 0

4、主2上slave start,show slave  status \G,发现主2同步主1已经ok了;
5、在主2上show master  status \G,获取binlog文件名和Position点,在主1上重新change master
6、把上面三条数据保存好,发给程序猿手到录入主1,
PS:当然,如果我按一下设置,肯定不会出现这个问题,如果业务有要求,ID必须连续,那就不能设置这两个参数了:
主1: 
auto-increment-increment=2 
auto-increment-offset=1 
主2: 
auto-increment-increment=2 
auto-increment-offset=2

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
如何将数据从MySQL同步到其他系统
【10月更文挑战第17天】如何将数据从MySQL同步到其他系统
754 0
MySQL原理简介—12.MySQL主从同步
本文介绍了四种为MySQL搭建主从复制架构的方法:异步复制、半同步复制、GTID复制和并行复制。异步复制通过配置主库和从库实现简单的主从架构,但存在数据丢失风险;半同步复制确保日志复制到从库后再提交事务,提高了数据安全性;GTID复制简化了配置过程,增强了复制的可靠性和管理性;并行复制通过多线程技术降低主从同步延迟,保证数据一致性。此外,还讨论了如何使用工具监控主从延迟及应对策略,如强制读主库以确保即时读取最新数据。
MySQL原理简介—12.MySQL主从同步
Flink CDC MySQL同步MySQL错误记录
在使用Flink CDC同步MySQL数据时,常见的错误包括连接错误、权限错误、表结构变化、数据类型不匹配、主键冲突和
204 17
MySQL主键谁与争锋:MySQL为何钟爱自增主键ID+UUID?
本文深入探讨了在MySQL中使用自增类型主键的优势与局限性。自增主键通过保证数据的有序性和减少索引维护成本,提升了查询和插入性能,简化了数据库管理和维护,并提高了数据一致性。然而,在某些业务场景下,如跨表唯一性需求或分布式系统中,自增主键可能无法满足要求,且存在主键值易预测的安全风险。因此,选择主键类型时需综合考虑业务需求和应用场景。
116 2
Maxwell:binlog 解析器,轻松同步 MySQL 数据
Maxwell:binlog 解析器,轻松同步 MySQL 数据
538 11
MySQL高级篇——覆盖索引、前缀索引、索引下推、SQL优化、主键设计
覆盖索引、前缀索引、索引下推、SQL优化、EXISTS 和 IN 的区分、建议COUNT(*)或COUNT(1)、建议SELECT(字段)而不是SELECT(*)、LIMIT 1 对优化的影响、多使用COMMIT、主键设计、自增主键的缺点、淘宝订单号的主键设计、MySQL 8.0改造UUID为有序
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
53 1
mysql中主键索引和联合索引的原理与区别
本文详细介绍了MySQL中的主键索引和联合索引原理及其区别。主键索引按主键值排序,叶节点仅存储数据区,而索引页则存储索引和指向数据域的指针。联合索引由多个字段组成,遵循最左前缀原则,可提高查询效率。文章还探讨了索引扫描原理、索引失效情况及设计原则,并对比了InnoDB与MyISAM存储引擎中聚簇索引和非聚簇索引的特点。对于优化MySQL性能具有参考价值。
mysql编写sql脚本:要求表没有主键,但是想查询没有相同值的时候才进行插入
mysql编写sql脚本:要求表没有主键,但是想查询没有相同值的时候才进行插入
58 0
mysql 主从同步 实现增量备份
【8月更文挑战第28天】mysql 主从同步 实现增量备份
94 3
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等