开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink的holo的io以及cpu使用都还稳定,这块需要如何优化?

sink端busy一直在20%左右 有时候50% 876c3848ba604af3fada3859bc21ea10.png
6685b847dd38175bba54f84f2ca5ee39.png
Flink的holo的io以及cpu使用都还稳定,这块需要如何优化?

展开
收起
三分钟热度的鱼 2024-04-03 19:09:15 41 0
1 条回答
写回答
取消 提交回答
  • 下面的几种方法试试呢

    可以通过调整source并发数来降低sink端的busy。
    source并发不要大于上游物理表的分区数或shard数,以防止部分并发空跑和资源浪费。
    建议使上游物理表的分区数尽量为source并发的整数倍,以避免数据倾斜问题。
    可以查看sink端输出的数据量,通过作业开发页面的更多配置来添加参数pipeline.operator-chaining: 'false',然后启动作业,在sink节点的Records Sent数中查看sink端输出的记录数。此回答整理自钉群“实时计算Flink产品交流群”

    2024-04-03 19:53:41
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载