开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这个报错是什么原因?

Flink CDC这个报错是什么原因,相同的server-id,我的这个库的部分表被多个cdc任务同步?image.png
之前同步的任务有手动指定server-id后面的整库同步到Doris没有指定server-id

展开
收起
真的很搞笑 2023-11-15 08:59:03 40 0
2 条回答
写回答
取消 提交回答
  • 之前同步的任务有手动指定server-id后面的整库同步到Doris没有指定server-id,此回答整理自钉群“Flink CDC 社区”

    2023-11-15 12:37:32
    赞同 展开评论 打赏
  • 这个错误提示表明Flink CDC正在尝试连接到一个已经存在的CDC任务。这是因为在Flink CDC中,每个数据库表只能有一个活跃的CDC任务。如果你在同一个数据库表上启动了多个CDC任务,那么这些任务将会失败,并出现这个错误。

    为了解决这个问题,你需要确保每个数据库表只有一个活跃的CDC任务。你可以通过以下方式来做到这一点:

    1. 在启动CDC任务时,确保为每个数据库表指定一个唯一的任务名称。
    2. 如果可能的话,尽量使用自动生成的任务名称,而不是手动指定的名称。这样可以避免人为的错误。
    3. 在停止一个CDC任务后,确保不再使用该任务名称启动新的CDC任务。

    另外,如果可能的话,你应该尽量避免在同一个数据库表上启动多个CDC任务。因为这可能会导致数据的不一致,并增加系统的复杂性。

    2023-11-15 09:17:10
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载