开发者社区> 问答> 正文

传统的Shuffle有哪些问题?

传统的Shuffle存在哪些问题?

展开
收起
游客tbwjb5xynyh2u 2022-05-08 17:29:54 389 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 本地盘依赖限制了存算分离。 大量随机读。Mapper Output属于某个Reducer的数据量很小。 高网络连接数,导致线程池消耗过多CPU,带来性能和稳定性问题。 Shuffle数据单副本。

    2022-05-09 16:09:25
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
千亿特征流式学习在大规模推荐排序场景的应用 立即下载
千亿特征流式学习 在大规模推荐排序场景的应用 立即下载
基于Spark的面向十亿级别特征的大规模机器学习 立即下载