开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

flink oracle cdc 日志量稍微大些,延迟就会比较大,有时候可能去到小时级别?

flink oracle cdc 日志量稍微大些,延迟就会比较大,有时候可能去到小时级别,,请问下大家这块大家有没有什么好的建议不?

展开
收起
滴滴滴~ 2023-03-21 14:44:33 361 0
2 条回答
写回答
取消 提交回答
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    这是正常现象,可以使用一些优化手段:

    • 调整 Flink Oracle CDC 的并行度:可以通过增加 Flink Oracle CDC 的并行度来提高其处理能力,从而缓解延迟的问题。

    • 优化 Oracle 数据库配置:可以通过优化 Oracle 数据库的配置,提高其性能和吞吐量,从而减少日志量,缓解延迟的问题。

    • 增加 Flink 集群资源:可以增加 Flink 集群的资源,例如增加 TaskManager 数量、提高 TaskManager 的内存和 CPU 等,从而提高 Flink Oracle CDC 的处理能力。

    • 减少不必要的字段同步:可以通过配置 Flink Oracle CDC,减少不必要的字段同步,从而降低数据量,提高处理能力。

    2023-03-21 18:19:13
    赞同 展开评论 打赏
  • https://developer.aliyun.com/article/834483参考下这个。 此答案整理自钉群“Flink CDC 社区”

    2023-03-21 16:46:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载

相关镜像