开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC的资源有限,估摸也就几十G可用,增加一个flinksql任务,这样下去哪受得了呢?

Flink CDC的资源有限,估摸也就几十G可用,增加一个flinksql任务,至少消耗一个task Manager的资源,这样下去哪受得了呢?

展开
收起
真的很搞笑 2023-10-23 14:34:02 51 0
2 条回答
写回答
取消 提交回答
  • 不要搞实时,用Seatunnel替代flinkSQL
    搞整库同步,一个库一个job完全够用3e689a7f1e56702dfa7d63a1f8e51888.png
    ,此回答整理自钉群“Flink CDC 社区”

    2023-10-24 08:13:40
    赞同 展开评论 打赏
  • 确实,Flink CDC的资源是有限的,如果每个Flink SQL任务都消耗一个TaskManager的资源,那么在资源有限的情况下,增加更多的任务会导致性能下降和延迟增加。

    为了解决这个问题,你可以考虑以下几种方法:

    1. 优化Flink SQL任务的资源配置,减少其对资源的消耗。例如,可以调整并行度、内存分配等参数来提高任务的执行效率。

    2. 使用更高效的数据存储和处理方案,例如使用Kafka等消息队列来缓存数据,或者使用Spark Streaming等其他流式处理框架来处理数据。

    3. 考虑使用Flink的动态资源分配功能,根据任务的实际需求动态调整资源的分配情况。这样可以更好地利用有限的资源,提高整个系统的性能。

    4. 如果实在无法满足需求,可以考虑升级Flink集群的规模,增加更多的TaskManager节点来扩展系统的处理能力。

    2023-10-23 16:41:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载