开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

如果同步的表结构有修改的话你们是怎么处理的啊?

如果同步的表结构有修改的话你们是怎么处理的啊?

展开
收起
雪哥哥 2022-11-14 22:32:08 1345 2
41 条回答
写回答
取消 提交回答
  •                 在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题。
                    在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题。
                    在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题。
    
    2022-12-15 14:28:31
    赞同 展开评论 打赏
  • 不知道怎么处理啊

    2022-12-13 21:37:50
    赞同 1 展开评论 打赏
  • 开源中国GVP

    我一般重新健表了

    2022-11-26 16:19:10
    赞同 1 展开评论 打赏
  • 本人csdn 博客地址https://liuyunshengsir.blog.csdn.net/ 推荐的chatgpt地址:http://124.220.104.235/web/chatgpt

    重建表结构再同步

    2022-11-26 09:02:23
    赞同 展开评论 打赏
  • 目前从事大数据开发,兼顾平台搭建以及实时数据分析,主要是用scala编写程序,涉及社区开源hadoop集群,emr集群,欢迎有相同兴趣的小伙伴来交流,共同进步。最近在参与flink-java实时开发。

    同步的表结构改变可以查询元数据信息

    再修改

    2022-11-26 08:10:29
    赞同 展开评论 打赏
  • 在孤独世界的孩子,感受冷暖无边的环境,爱吃窝窝头

    重建表结构

    2022-11-25 22:27:00
    赞同 展开评论 打赏
  • 重建表结构

    2022-11-25 20:57:27
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    先先修改同步任务,如果不行只能重置了

    2022-11-25 18:48:51
    赞同 展开评论 打赏
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    在主从同步情况下,很多方式只能同步数据,而源库表结构一旦被修改,被同步端将无法同步数据, 但SchemaSync是一款由Go开源的命令行工具,支持跨平台的、绿色无依赖的 MySQL 表结构自动同步工具。用于读取源DB和目标DB的schema,自动生成同步更新和回滚的sql,方便自动化的Schema同步。 github参考: https://github.com/hidu/mysql-schema-sync

    ilanhanf MySQL有一个把锁,叫做MDL元数据锁,当对表修改的时候,会自动给表加上这把锁,也就是不需要自己显式使用,当对表做增删改查的时候,加的是MDL读锁 当对表结构做变更修改的时候,加的是MDL写锁 读与读之间不互斥,读与写,写与写之间互斥。MDL一旦上锁之后,只有当前请求的事务提交才会释放,如果是一个长事务,或者是线上数据量很大,修改表结构默认上了MDL写锁,会很耗时一直阻塞掉后边其他请求。

    线上修改MySQL表结构要放在非业务高峰期来做,一般是放到凌晨2-4点。

    对表加读写锁,使得此时表只读、 复制原表的物理结构 修改新表的物理结构,包括增加新字段或者修改其他表结构 把表结构导入新表,数据同步完成,锁住中间表,删除原表 将新表rename为原表名 释放锁

    亿级大表如何修改表结构【MySQL】详见下面链接:https://blog.csdn.net/linzhiqiang0316/article/details/120967852?share_token=5c91ffa8-cc03-42be-80bd-86162147d024&tt_from=copy_link&utm_source=copy_link&utm_medium=toutiao_android&utm_campaign=client_share - 亿级大表如何修改表结构【MySQL】-CSDN博客 - 今日头条

    2022-11-25 15:53:40
    赞同 展开评论 打赏
  • 重构表结构

    2022-11-25 13:54:32
    赞同 展开评论 打赏
  • 重建表结构

    2022-11-25 13:25:38
    赞同 展开评论 打赏
  • 重建表结构

    2022-11-25 13:12:41
    赞同 展开评论 打赏
  • 先修改同步任务试一下,不行再重建

    2022-11-25 11:52:59
    赞同 展开评论 打赏
  • 先修改同步任务,不行的话再重建

    2022-11-25 11:52:59
    赞同 展开评论 打赏
  • 重建会好一些

    2022-11-25 11:52:58
    赞同 展开评论 打赏
  • 重建表结构吧

    2022-11-25 11:43:36
    赞同 展开评论 打赏
  • 正在学习中...

    如果要修改,我选择重建。

    2022-11-25 11:43:36
    赞同 展开评论 打赏
  • 重建

    2022-11-25 11:43:36
    赞同 展开评论 打赏
  • 今天也要加油吖~

    可以重建的呀。

    2022-11-25 11:43:35
    赞同 展开评论 打赏
  • 重建表结构

    2022-11-25 11:43:36
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载