开发者社区> 问答> 正文

Flink datastream任务对接kafka出现数据倾斜

Flink datastream任务对接kafka出现数据倾斜

展开
收起
提个问题 2024-06-03 10:09:39 56 0
1 条回答
写回答
取消 提交回答
  • 数据倾斜可能是由于keyby操作导致的,某些key的数据量分布不均。建议您选择能均衡散列的key,例如在key前加随机数来打散数据。您可以考虑调整key的选择,确保每个key的数据量在各个并行度间是均衡的。
    image.png

    2024-06-03 10:55:59
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载