开发者社区> 问答> 正文

数据倾斜是什么?

数据倾斜是什么?

展开
收起
芯在这 2021-12-05 18:08:05 283 0
1 条回答
写回答
取消 提交回答
  • 数据倾斜:map/reduce 程序执行时,reduce 节点大部分执行完毕,但是有一个或者几个 reduce 节点运行很慢,导致整个程序的处理时间很长,这是因为某一个 key 的条数比其他 key 多很多 (百倍或者千倍),这条 key 所在的 reduce 节点所处理的数据量比其他节点大很多,从而导致某几个节点迟迟运行不完,此称之为数据倾斜

    2021-12-05 18:08:17
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载