开发者社区> 问答> 正文

数据倾斜是flink任务中大家都会遇到的高频问题,一旦发生数据倾斜会带来哪些影响呢?

已解决

数据倾斜是flink任务中大家都会遇到的高频问题,一旦发生数据倾斜会带来哪些影响呢?

展开
收起
詹姆斯邦德00 2022-10-17 11:16:37 644 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    (1)单点问题

    数据集中在某些分区上(Subtask),导致数据严重不平衡,单点资源处理耗时长。

    (2)GC 频繁

    过多的数据集中在某些 JVM(TaskManager),使得JVM 的内存资源短缺,导致频繁 GC情况。

    (3)吞吐下降、延迟增大

    数据单点和频繁 GC 导致吞吐下降上游消费慢,下游写入慢、任务整体延迟增大。

    (4)系统崩溃

    严重情况下,过长的 GC 导致 TaskManager 失联,任务异常终止。

    以上内容摘自《企业级云原生白皮书项目实战》电子书,点击https://developer.aliyun.com/ebook/download/7774可下载完整版

    2022-10-17 19:19:56
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载