开发者社区 问答 正文

hadoop中一个自定义的Partitioner需要实现什么功能?

hadoop中一个自定义的Partitioner需要实现什么功能?

展开
收起
游客szyg5ww7yqnwy 2021-12-05 16:21:31 300 分享 版权
1 条回答
写回答
取消 提交回答
  • 一个自定义的Partitioner只需要实现两个功能:getPartition()和configure()。 (1)getPartition()函数返回一个0到(Reducer数目-1)之间的int值来确定将<key,value>键值对送到哪一个Reducer中。

    (2)configure()使用Hadoop Job Configuration来配置partitioner,并读取样本数据。

    2021-12-05 16:35:48
    赞同 展开评论
问答分类:
问答地址: