开发者社区 问答 正文

MapReduce 编程模型是什么?

MapReduce 编程模型是什么?

展开
收起
Medusa 2022-01-13 17:59:47 742 分享 版权
1 条回答
写回答
取消 提交回答
  • MapReduce 编程模型借鉴了“分而治之”的思想,以键值对的形式来进行数据的输入和输出,它将待处理的数据集分解为多个小的键值对来处理。MapReduce 编程模型将复杂的并行计算过程高度抽象到 map() 函数和 reduce() 函数中。

    MapReduce 编程模型将一个大的计算问题分解成多个小的计算问题,由多个 map() 函数对这些分解后的小问题进行并行计算,输出中间计算结果,然后由 reduce() 函数对 map()函数的输出结果进行进一步合并,得出最终的计算结果。

    以上内容摘自《海量数据处理与大数据技术实战》电子书,点击https://developer.aliyun.com/topic/download?id=8205可下载完整版

    2022-01-13 20:05:41
    赞同 展开评论