开发者社区> 问答> 正文

简答说一下hadoop的map-reduce编程模型?

简答说一下hadoop的map-reduce编程模型?

展开
收起
茶什i 2019-10-29 14:34:21 1180 0
1 条回答
写回答
取消 提交回答
  • 首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合。
    将键值对集合输入mapper进行业务处理过程,将其转换成需要的key-value在输出。
    之后会进行一个partition分区操作,默认使用的是hashpartitioner,可以通过重写hashpartitioner的getpartition方法来自定义分区规则。
    之后会对key进行进行sort排序,grouping分组操作将相同key的value合并分组输出。 在这里可以使用自定义的数据类型,重写WritableComparator的Comparator方法来自定义排序规则,重写RawComparator的compara方法来自定义分组规则。
    之后进行一个combiner归约操作,其实就是一个本地段的reduce预处理,以减小后面shufle和reducer的工作量。 reduce task会通过网络将各个数据收集进行reduce处理,最后将数据保存或者显示,结 束整个job。

    2019-10-30 15:39:59
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多