Flink CDC的资源有限,估摸也就几十G可用,增加一个flinksql任务,这样下去哪受得了呢?

Flink CDC的资源有限,估摸也就几十G可用,增加一个flinksql任务,至少消耗一个task Manager的资源,这样下去哪受得了呢?

展开
收起
真的很搞笑 2023-10-23 14:34:02 67 发布于黑龙江 分享
分享
版权
举报
2 条回答
写回答
取消 提交回答
  • 不要搞实时,用Seatunnel替代flinkSQL
    搞整库同步,一个库一个job完全够用3e689a7f1e56702dfa7d63a1f8e51888.png
    ,此回答整理自钉群“Flink CDC 社区”

    2023-10-24 08:13:40 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 确实,Flink CDC的资源是有限的,如果每个Flink SQL任务都消耗一个TaskManager的资源,那么在资源有限的情况下,增加更多的任务会导致性能下降和延迟增加。

    为了解决这个问题,你可以考虑以下几种方法:

    1. 优化Flink SQL任务的资源配置,减少其对资源的消耗。例如,可以调整并行度、内存分配等参数来提高任务的执行效率。

    2. 使用更高效的数据存储和处理方案,例如使用Kafka等消息队列来缓存数据,或者使用Spark Streaming等其他流式处理框架来处理数据。

    3. 考虑使用Flink的动态资源分配功能,根据任务的实际需求动态调整资源的分配情况。这样可以更好地利用有限的资源,提高整个系统的性能。

    4. 如果实在无法满足需求,可以考虑升级Flink集群的规模,增加更多的TaskManager节点来扩展系统的处理能力。

    2023-10-23 16:41:38 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等