开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 里增量阶段并发是1,是因为保证一个slave获取binglog,避免数据重复吧?

Flink CDC 里增量阶段并发是1,是因为了保证一个slave获取binglog,避免数据重复吧?增量阶段不可能存在多并行度吧,多并行度就出现了每一个记录都会获取重复条数?并行度为1时,整表数据在flink内部也不是有序的,cdc内部用了一些hashmap缓存记录,同一个表的主键并不有序。

展开
收起
小小鹿鹿鹿 2024-03-19 23:07:12 61 0
1 条回答
写回答
取消 提交回答
  • 主要是保证数据的顺序。增量阶段的并行可以为n哦 前提是你要保证主键相同的binlog数据在下游同一个分区就可以 。此回答来自钉群Flink CDC 社区。

    2024-03-20 12:22:56
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载