hadoop和spark的shuffle相同之处是什么啊？
写回答
high-level 角度： 两者并没有大的差别 都是将 mapper（Spark: ShuffleMapTask）的输出进行 partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的 ShuffleMapTask，也可能是 ResultTask） Reducer 以内存作缓冲区，边 shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce()。 low-level 角度： Hadoop MapReduce 是 sort-based，进入 combine() 和 reduce() 的 records 必须先 sort。 好处：combine/reduce() 可以处理大规模的数据 因为其输入数据可以通过外排得到 mapper 对每段数据先做排序 reducer 的 shuffle 对排好序的每段数据做归并 Spark 默认选择的是 hash-based，通常使用 HashMap 来对 shuffle 来的数据进行 aggregate，不提前排序 如果用户需要经过排序的数据：sortByKey()
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
