开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中sqlserver--->sqlserver。反压严重,大家有啥好办法不?

Flink CDC中sqlserver--->sqlserver。反压严重,大家有啥好办法不?image.png

展开
收起
真的很搞笑 2023-12-11 13:46:50 84 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC中,当从SQL Server到SQL Server进行数据迁移时,可能会遇到反压问题。以下是一些可能的解决方法:

    1. 调整并行度:增加或减少并行度可以对性能产生影响。尝试调整并行度以找到最佳值。

    2. 使用异步IO:将同步IO更改为异步IO可以减少等待时间,并提高吞吐量。

    3. 调整内存和CPU资源:确保Flink作业有足够的内存和CPU资源来处理数据流。

    4. 使用窗口操作:通过使用窗口操作,可以将数据分成较小的批次进行处理,从而减少反压的可能性。

    5. 使用消息队列:将数据发送到消息队列(如Kafka)中,然后由另一个消费者应用程序处理,可以减轻原始消费者的负载。

    6. 优化SQL查询:检查SQL查询是否存在性能瓶颈,并进行必要的优化。

    7. 考虑使用其他工具或技术:如果以上方法都无法解决问题,可以考虑使用其他工具或技术来进行数据迁移,例如Apache NiFi或Sqoop。

    2023-12-12 14:38:24
    赞同 展开评论 打赏
  • 控制source 的读的速度,控制读取大小。 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-11 22:18:59
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载