Flink CDC 目前基于2.2抽pg的存量数据时会对表加锁吗?

Flink CDC 目前基于2.2抽pg的存量数据时会对表加锁吗?

展开
收起
真的很搞笑 2023-07-03 13:24:57 161 分享 版权
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink CDC 2.2版本目前支持从PostgreSQL中抽取存量数据,当抽取存量数据时,Flink CDC会执行全表扫描,并在扫描过程中获取数据库表的元数据信息。在获取元数据信息时,Flink CDC会获取ShareUpdateExclusiveLock级别的锁,该锁是用于保证元数据的一致性和可靠性。具体来说,ShareUpdateExclusiveLock锁可以防止其他用户对表进行修改和删除,从而确保Flink CDC在抽取存量数据时能够正确获取表的元数据信息。
    需要注意的是,ShareUpdateExclusiveLock锁会对表的并发访问产生一定的影响,可能会导致其他用户的查询和修改操作被阻塞。因此,在执行存量数据抽取时,建议在非高峰期执行,并尽可能减少对表的锁定时间,以避免对系统的影响。可以通过调整Flink CDC任务的配置参数,例如snapshot.lock.timeout.ms和snapshot.lock.hold.timeout.ms等,来控制锁定时间和超时时间,

    2023-07-30 09:36:18
    赞同 展开评论
  • pg抽数据过程不会加锁,等马上发版的2.4版本吧,到时候会升级大全增量一体化,到时候没锁,现在还是有锁的,pg还好,只是在获取schema锁了表,不像mysql那样如果开启了表锁会排斥数据写入,2.4还没增加动态加表功能,有点弱,此回答整理自钉群“Flink CDC 社区”

    2023-07-03 16:15:37
    赞同 展开评论
  • 存在即是合理

    Flink CDC 2.2版本支持动态加表,该功能可以在无需重新读取已有表的基础上,增加需要监控的表,添加的表会自动先同步该表的全量数据再无缝切换到同步增量数据。 因此,Flink CDC 2.2版本不会对表加锁。

    2023-07-03 13:58:30
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理