开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中如果数据库又开了主从,而且又要cdc,这样有影响没?

Flink CDC中如果数据库又开了主从,而且又要cdc,这样有影响没?
92ef4f383ef116f0920d6c9a485fd59a.png

展开
收起
十一0204 2023-08-09 07:48:56 75 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 中,如果数据库设置了主从复制,并且您要使用 CDC 连接器捕获变更数据,可能会有一些影响和考虑事项:

    数据一致性:主从复制是为了在主数据库上进行写操作,并将变更同步到从数据库。在这种情况下,主数据库上的写操作可能会在从数据库上有一定的延迟。如果您的 CDC 连接器捕获变更数据时依赖于从数据库的数据,可能会受到延迟的影响,导致读取到的数据不是最新的。

    数据冲突和重复:当主数据库上的写操作同步到从数据库时,CDC 连接器可能会在主从复制期间读取到同一个数据变更多次。这可能会导致数据冲突或重复,特别是在使用了窗口聚合等操作时。

    连接器配置:使用 Flink CDC 连接器时,您需要配置正确的连接参数来连接主数据库或从数据库。确保连接器的配置与主从复制的设置相匹配,并且具有正确的连接字符串、认证凭据等。

    故障恢复和容错:在主从复制的环境下,如果主数据库发生故障或切换到从数据库,可能会影响 CDC 连接器的正常运行。在这种情况下,您需要确保 Flink CDC 连接器能够正确处理主从切换和故障恢复,以保证数据的准确性和完整性。

    2023-08-13 20:11:51
    赞同 展开评论 打赏
  • 意中人就是我呀!

    这个不是写得很清楚了么,这个 connector 只能用作 sink table,不能用作 source table。此回答整理至钉群“Flink CDC 社区”。

    2023-08-09 11:55:35
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载