开发者社区 > 云原生 > 正文

请问flink cdc scanNewlyAddedTableEnabled启动后,新加表从哪读取?

有人试过flink cdc scanNewlyAddedTableEnabled加表功能吗,从检查点启动后,新加表是从全量开始读取还是从检查点读?

展开
收起
哒哒哒哒哒~ 2023-03-07 10:41:43 454 0
2 条回答
写回答
取消 提交回答
  • 新加的表全量读。此答案整理自钉群“Flink CDC 社区”

    2023-03-09 09:16:11
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    在Flink CDC中,使用scanNewlyAddedTableEnabled参数启用了从检查点后动态添加表的功能后,新添加的表会从检查点位置开始读取数据。

    具体来说,Flink CDC会记录每个表的offset信息,包括binlog文件名和偏移量等信息。在启用scanNewlyAddedTableEnabled参数后,如果有新的表添加到CDC任务中,CDC会根据检查点中记录的offset信息和新表的元数据信息确定新表的起始位置,并从该位置开始读取数据。

    需要注意的是,如果新表的数据比较大,可能会影响CDC任务的性能和稳定性。建议在添加新表时进行适当的测试和评估,以确保系统的稳定性和可靠性。同时,可以考虑调整CDC任务的并行度和资源配置等参数,以优化任务的性能和吞吐量。

    2023-03-07 10:43:31
    赞同 展开评论 打赏

阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载