开发者社区> 问答> 正文

MapReduce 编程模型是什么?

MapReduce 编程模型是什么?

展开
收起
Medusa 2022-01-13 17:59:47 714 0
1 条回答
写回答
取消 提交回答
  • MapReduce 编程模型借鉴了“分而治之”的思想,以键值对的形式来进行数据的输入和输出,它将待处理的数据集分解为多个小的键值对来处理。MapReduce 编程模型将复杂的并行计算过程高度抽象到 map() 函数和 reduce() 函数中。

    MapReduce 编程模型将一个大的计算问题分解成多个小的计算问题,由多个 map() 函数对这些分解后的小问题进行并行计算,输出中间计算结果,然后由 reduce() 函数对 map()函数的输出结果进行进一步合并,得出最终的计算结果。

    以上内容摘自《海量数据处理与大数据技术实战》电子书,点击https://developer.aliyun.com/topic/download?id=8205可下载完整版

    2022-01-13 20:05:41
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
机器学习介绍与Spark Mllib实践 立即下载
Alink:提升基于Flink的机器学习平台易用性 立即下载
基于Apache* Spark* 的大规模分布式机器学习实践 立即下载