开发者社区 问答 正文

传统的Shuffle有哪些问题?

传统的Shuffle存在哪些问题?

展开
收起
游客tbwjb5xynyh2u 2022-05-08 17:29:54 421 分享 版权
来自: 阿里技术
1 条回答
写回答
取消 提交回答
  • 本地盘依赖限制了存算分离。 大量随机读。Mapper Output属于某个Reducer的数据量很小。 高网络连接数,导致线程池消耗过多CPU,带来性能和稳定性问题。 Shuffle数据单副本。

    2022-05-09 16:09:25
    赞同 展开评论
问答地址: