开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC有大佬知道为啥同一个库里有的表同步巨快,有的表能同步直接挂掉吗?

Flink CDC有大佬知道为啥同一个库里有的表同步巨快,有的表能同步直接挂掉吗?08661b9bcd5e8082f96e8741a93d5e05.png

展开
收起
真的很搞笑 2023-08-20 11:12:53 50 0
1 条回答
写回答
取消 提交回答
  • Flink CDC 的同步速度可能受多种因素影响,比如:

    数据量:数据量越大,同步速度越慢。
    表结构:表结构越复杂,同步速度越慢。
    数据库类型:不同的数据库类型有不同的同步方式,同步速度可能不同。
    使用的 Kafka 集群性能:Kafka 集群的性能越好,同步速度越快。
    使用的 Flink 集群性能:Flink 集群的性能越好,同步速度越快。
    如果某个表的同步速度很慢,可以尝试通过调整上述因素来提高同步速度。

    另外,如果某个表的同步速度很慢并且无法解决,可以考虑使用 Flink CDC 的 Exactly-Once 模式。在 Exact-Once 模式下,Flink CDC 会在数据同步完成后,将每个表的最新状态进行快照。这样,如果某个表的同步速度很慢,也不会影响其他表同步的速度。

    2023-09-21 10:07:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载