开发者社区> 问答> 正文

面对这种常见的flink任务数据倾斜情况,一般有什么定位排查方案?

已解决

面对这种常见的flink任务数据倾斜情况,一般有什么定位排查方案?

展开
收起
詹姆斯邦德00 2022-10-17 11:16:58 845 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    首先根据flink任务清理在确定是否存在数据倾斜情况:

    (1)根据flink监控查看任务反压Flink Web UI 自带的反压监控(直接方式)来确定任务出现反压,然后通过监控反压的信息,可以获取到数据处理瓶颈的 Subtask。

    (2)查看对应Subtasks,多并发情况下,当 Subtasks 之间处理的数据量有较大的差距,则该 Subtask 出现数据倾斜。如下图所示,红框内的 Subtask 出现数据热点。

    image.png

    以上内容摘自《企业级云原生白皮书项目实战》电子书,点击https://developer.aliyun.com/ebook/download/7774可下载完整版

    2022-10-17 19:19:55
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载