开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC版本2.2.1,并行度设为2,指定了serverId之后只能读到全量、增量怎么办?

Flink CDC里cdc版本2.2.1,并行度设为2,指定了serverId之后只能读到全量、读不到增量,怎么解决?70c1ad593dc19ef4da928a248d1e8e21.png

展开
收起
小小鹿鹿鹿 2024-01-17 23:40:10 57 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC 2.2.1中,如果指定了serverId之后只能读到全量和增量数据,可以尝试以下方法解决:

    1. 检查是否使用了正确的source。确保你使用的是支持CDC的source,例如Debezium Source或者MySQL Source等。

    2. 检查是否配置了正确的并行度。根据你的描述,你已经将并行度设置为2,这可能会导致读取到的数据不全。尝试增加并行度,例如将其设置为4或更高。

    3. 检查是否启用了事务支持。在某些情况下,事务支持可能会导致读取到的数据不全。尝试禁用事务支持,然后再次运行作业。

    4. 如果以上方法都无法解决问题,可以考虑升级到更高版本的Flink CDC,例如2.3.0或更高版本。新版本可能已经修复了这个问题。

    2024-01-18 14:41:18
    赞同 展开评论 打赏
  • 检查是否开启checkpoint。此回答来自钉群Flink CDC 社区。

    2024-01-18 10:35:08
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 覃立辉 立即下载
    Flink CDC Meetup PPT - 孙家宝 立即下载
    Flink CDC Meetup PPT - 徐榜江 立即下载