MySQL部分表复制配置下存在的运维风险、原因及一种方案-阿里云开发者社区

开发者社区> 丁奇> 正文

MySQL部分表复制配置下存在的运维风险、原因及一种方案

简介:
+关注继续查看

大家都知道 replicate-wild-do-table可以配置只同步部分表,由于其支持通佩符,带来便利。但也存在一些风险。

问题描述:

假设MS两个MySQL Server, S设置为M的从库,且设置replicate-wild-do-table=test.a%.

此时在M库按照如下顺序操作:

1) create table a1(f int);

2) alter table a1 rename to b1;

3) alter table b1 rename to a1;

此时分别在MSshow tables发现,M中有a1, S中只有b1.

原因是步骤3没有在S中重放。

相关代码:

在主从过程中,从库S会将主库的所有命令都写入本地日志,但在执行之前会先判断是否符合replicate[-wild]-do-table的条件。

从库判断表名是否符合同步条件则是在rpl_filter.cc:tables_ok中,判断的输入是thd.lex.query_tables 而对于alter语句,在解析过程中仅将源表信息放入query_tables中,导致在执行步骤3时,判断b1不符合模式a%, 因此不予重放。

换个策略也不行:

第一反应是是否可以对于alter语句将目标表也放入tables_ok中判断?当然可以,但就算改成这个策略,仍不能解决这个问题。可以看看这个操作序列。

1) create table a1(f int);

2) alter table a1 rename to b1;

3) alter table b1 rename to c1;

4) alter table c1 rename to a1;

可以看到就算是新策略,步骤3S中仍然无法重放,在M执行步骤4的时候,S上仍会报错(c1不存在)

运维风险:

因此这个不算MySQLbug,但在我们平时使用时却存在风险:我们在在线DDL的时候,经常会把一个表先转储到一个临时表中,在临时表中做完擦作后再替换原表。若此时从库上用replicate-wild-do-table作了限制,而临时表又不符合这个条件,则当主库在将临时表替换原表的时候,会导致从库上不会执行此操作,造成不一致。

当然如果我们足够小心,使用一个符合条件的表名作临时表就没这问题了,关键是:这个是要靠人小心来保证,不保险----ddl之前还要去确认所有从库上的配置,也挺麻烦。

一个方案:

出现此问题的最根本原因,是在S上执行步骤2时,将表名从符合a%条件的a1改成b1,导致之后的不可逆。

因此可以在从库上增加一个配置,是否允许重放这种命令。

只需要在判断是否重放的位置,增加判断目标表名是否符合replilcate-wild-do-table的条件,若不符合,直接返回执行失败。并报错到Last_error中。

剩下的就是配合监控了。监控后就可以按照需要重新处理,如需要让S继续重放以免M重新操作,则在S中把临时表的文件名也加入replicate-wild-do-table即可。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
centos部署springboot项目
因课题组需要整合sprinboot项目与c++项目,因此在centos服务器上对项目进行整合测试。
4 0
阿里云物联网平台设备端响应物模型属性更新
在使用云端API SetDeviceProperty、iot studio设置设备属性、物联网平台控制台在线调试功能时,会出现物模型属性没有更新的情况。 以上功能中都是在调用SetDeviceProperty接口去更新物模型属性。 因为云端下发属性设置命令和设备收到并执行该命令是异步的,所以调用该接口时,返回的成功结果只表示云端下发属性设置的请求成功,不能保证设备端收到并执行了该请求。需设备端SDK成功响应云端设置设备属性值的请求,设备属性值才能真正设置成功。
13 0
mysql性能优化:单表1400w查询最后十条数据(耗时0.036s)
看几个关键字段,type、key、extra,不算完美,但也还行,毕竟我们这种非DBA选手,sql能力有限 顺便科普下这个执行计划,看id列,1 1 2,执行顺序是第三行 第一行 第二行,记住口诀:id不同大的先走,id相同,从上往下
5 0
【愚公系列】2021年11月 Mysql数据库-Window11下的安装
【愚公系列】2021年11月 Mysql数据库-Window11下的安装
4 0
MySQL配置
MySQL配置
4 0
LINUX安装MySQL
LINUX安装MySQL
3 0
【愚公系列】2021年11月 Elasticsearch数据库-面试题
【愚公系列】2021年11月 Elasticsearch数据库-面试题
13 0
MySQL的初次使用
MySQL的初次使用
3 0
MySQL用C访问的示例代码
MySQL用C访问的示例代码
5 0
ESC云服务器初次使用体会
关于服务器搭建django环境的一点心得
20 0
+关注
丁奇
专注于数据存储系统、MySQL源码研究和改进、MySQL性能优化和功能改进,并设计了阿里云高可靠双通道binlog方案。他在业务场景分析、系统瓶颈分析、性能优化方面拥有丰富的经验。微博@淘宝丁奇。
43
文章
18
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载