在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题。
在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题。
在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题。
重建表结构再同步
同步的表结构改变可以查询元数据信息
再修改
在主从同步情况下,很多方式只能同步数据,而源库表结构一旦被修改,被同步端将无法同步数据, 但SchemaSync是一款由Go开源的命令行工具,支持跨平台的、绿色无依赖的 MySQL 表结构自动同步工具。用于读取源DB和目标DB的schema,自动生成同步更新和回滚的sql,方便自动化的Schema同步。 github参考: https://github.com/hidu/mysql-schema-sync
ilanhanf MySQL有一个把锁,叫做MDL元数据锁,当对表修改的时候,会自动给表加上这把锁,也就是不需要自己显式使用,当对表做增删改查的时候,加的是MDL读锁 当对表结构做变更修改的时候,加的是MDL写锁 读与读之间不互斥,读与写,写与写之间互斥。MDL一旦上锁之后,只有当前请求的事务提交才会释放,如果是一个长事务,或者是线上数据量很大,修改表结构默认上了MDL写锁,会很耗时一直阻塞掉后边其他请求。
线上修改MySQL表结构要放在非业务高峰期来做,一般是放到凌晨2-4点。
对表加读写锁,使得此时表只读、 复制原表的物理结构 修改新表的物理结构,包括增加新字段或者修改其他表结构 把表结构导入新表,数据同步完成,锁住中间表,删除原表 将新表rename为原表名 释放锁
亿级大表如何修改表结构【MySQL】详见下面链接:https://blog.csdn.net/linzhiqiang0316/article/details/120967852?share_token=5c91ffa8-cc03-42be-80bd-86162147d024&tt_from=copy_link&utm_source=copy_link&utm_medium=toutiao_android&utm_campaign=client_share - 亿级大表如何修改表结构【MySQL】-CSDN博客 - 今日头条
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。