开发者社区 问答 正文

Spark 当中的 shuffle 过程应该如何去理解呢?

Spark 当中的 shuffle 过程应该如何去理解呢?

展开
收起
游客ahv54x37wvm7u 2021-12-12 20:55:30 690 分享 版权
1 条回答
写回答
取消 提交回答
  • Spark shuffle 处于一个宽依赖,可以实现类似混洗的功能,将相同的 Key 分发至同一个 Reducer上进行处理。

    2021-12-12 20:55:41
    赞同 展开评论