开发者社区> 问答> 正文

MapReduce提供Partitioner接口作用是什么?

MapReduce提供Partitioner接口作用是什么?

展开
收起
游客daliwbfb2wo66 2021-12-04 21:59:35 253 0
1 条回答
写回答
取消 提交回答
  • 根据key或value及reduce的数量来决定当前的这对输出数据最终应该交由哪个reduce task处理。默认对key hash后再以reduce task数量取模。默认的取模方式只是为了平均reduce的处理能力,如果用户自己对Partitioner有需求,可以订制并设置到job.set(..)。

    2021-12-04 21:59:53
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Spark介绍及Spark多数据源分析 立即下载
# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载