MapReduce 编程模型借鉴了“分而治之”的思想,以键值对的形式来进行数据的输入和输出,它将待处理的数据集分解为多个小的键值对来处理。MapReduce 编程模型将复杂的并行计算过程高度抽象到 map() 函数和 reduce() 函数中。
MapReduce 编程模型将一个大的计算问题分解成多个小的计算问题,由多个 map() 函数对这些分解后的小问题进行并行计算,输出中间计算结果,然后由 reduce() 函数对 map()函数的输出结果进行进一步合并,得出最终的计算结果。
以上内容摘自《海量数据处理与大数据技术实战》电子书,点击https://developer.aliyun.com/topic/download?id=8205可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。