开发者社区> 问答> 正文

Reduce端实现的流程是什么?

Reduce端实现的流程是什么?

展开
收起
游客mm5dulkpivqdo 2021-12-04 16:00:49 372 0
1 条回答
写回答
取消 提交回答
  • 1) 首先要实现数据本地化,需要将远程节点上的map输出复制到本地。 2) Merge过程,这个合并过程主要是对不同的节点上的map输出结果进行合并。 3) 不断的复制和合并之后,最终形成一个输入文件。Reduce将最终的计算结果存放在HDFS上。 针对MR2是新一代的MR的API。其主要是运行在Yarn的资源管理框架上。

    2021-12-04 16:10:38
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载