开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

关于Flink CDC,如果重新启动一个任务,你们是一个库一个任务吗? 如果要在当前任务中 新加一个

关于Flink CDC,如果重新启动一个任务,你们是一个库一个任务吗? 如果要在当前任务中 新加一个库同步呢?我想的是 先启动一个新任务,把需要同步的库先全量同步过去,然后再旧任务中加上这个新库,然后从savepoint(旧任务的) 重启。

展开
收起
真的很搞笑 2023-07-03 13:22:02 163 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在Flink CDC中,可以为每个数据库创建一个独立的任务,也可以在同一个任务中处理多个数据库。这取决于您的具体需求和设计。
    如果您需要同时处理多个数据库,可以在同一个Flink CDC任务中指定多个数据库的连接信息和配置参数。这样可以避免创建过多的任务,简化系统管理和维护。同时,也可以利用Flink的并行处理能力,提高数据同步的效率和性能。
    如果您需要重新启动Flink CDC任务,可以在Flink Web UI中停止当前任务并启动一个新的任务。在启动新的任务时,可以选择使用已有的任务配置文件或者创建一个新的任务配置文件。如果要在当前任务中新增一个数据库的同步任务,可以修改任务配置文件,添加新的数据库连接信息和配置参数,然后重新启动任务。
    需要注意的是,如果在当前任务中新增一个数据库的同步任务,可能会对任务的性能和稳定性产生影响。在设计任务时,需要考虑到系统资源的限制和数

    2023-07-30 09:36:09
    赞同 展开评论 打赏
  • 没试过你说的这种,我们一个库对应一个业务,业务之间 是独立的,我是不会一个任务同步两个库的数据,我们现在几十个库,但是数据都不是特别多,所以都放一个任务了。没那么多资源做,此回答整理自钉群“Flink CDC 社区”

    2023-07-03 16:34:32
    赞同 展开评论 打赏
  • 存在即是合理

    Flink CDC 2.2版本支持动态加表,该功能可以在无需重新读取已有表的基础上,增加需要监控的表,添加的表会自动先同步该表的全量数据再无缝切换到同步增量数据。因此,可以先启动一个新任务,把需要同步的库先全量同步过去,然后再旧任务中加上这个新库,然后从savepoint(旧任务的)重启。

    2023-07-03 14:05:18
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载