开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中snapshot 阶段把chk 锁去掉 会出现什么问题吗?

Flink CDC中snapshot 阶段把chk 锁去掉 会出现什么问题吗?

展开
收起
真的很搞笑 2023-06-18 12:39:09 63 0
1 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,snapshot 阶段是用于获取数据源的快照(snapshot)的阶段。在该阶段,Flink CDC 会对数据源进行检查点(checkpoint),以确保在获取快照期间数据的一致性和完整性。

    如果在 snapshot 阶段将 chk 锁(Checkpoint Lock)去掉,可能会导致以下问题:

    数据不一致:去掉 chk 锁可能会导致在获取快照期间数据源的变更被漏掉,从而导致数据不一致。快照应该是一个数据源在某个特定时间点的一致状态,锁可以确保在获取快照期间不会发生数据变更。

    丢失数据:去掉 chk 锁可能会导致在获取快照期间的数据丢失。如果在获取快照的过程中有新的数据写入数据源,并且没有进行合适的同步控制,那么这部分新数据可能会在快照中丢失。

    重复数据:去掉 chk 锁可能会导致在获取快照期间的数据重复。如果在获取快照的过程中有数据源的变更被重复读取,可能会导致重复的数据写入到目标端。

    综上所述,为了保证数据的一致性和完整性,以及避免数据的丢失和重复,建议在 Flink CDC 的 snapshot 阶段保留 chk 锁,确保数据源在获取快照期间不会发生变更。

    2023-10-17 11:06:40
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载