AI 助理
备案控制台
开发者社区 问答 正文

hadoop中一个自定义的Partitioner需要实现什么功能？

hadoop中一个自定义的Partitioner需要实现什么功能？

展开
收起
游客szyg5ww7yqnwy 2021-12-05 16:21:31 302 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客pbkxnb6wuf5d4

    一个自定义的Partitioner只需要实现两个功能：getPartition()和configure()。 （1）getPartition()函数返回一个0到（Reducer数目-1）之间的int值来确定将<key,value>键值对送到哪一个Reducer中。

    （2）configure()使用Hadoop Job Configuration来配置partitioner，并读取样本数据。

    2021-12-05 16:35:48
    赞同 展开评论
问答分类：
分布式计算 Hadoop
问答标签：
hadoop自定义 hadoop partitioner
问答地址：
开发者社区 > 大数据 > 问答
相关问答
Hadoop中二次排序如何自定义分组类？
291
1
0
Hadoop中二次排序如何自定义排序类？
240
1
0
Hadoop中二次排序如何自定义分区？
287
1
0
Hadoop中二次排序如何自定义key？
297
1
0
Hadoop shuffle中mapreduce提供partitioner接口有什么作用？
383
1
0
Hadoop中如何自定义排序方式？
193
1
0
Hadoop中 自定义Combiner实现的步骤是什么？
275
1
0
Hadoop中Combiner和partitioner是用来干嘛的？
186
1
0
Hadoop 中自定义配置文件存放在什么路径上？
362
1
0
Hadoop 中自定义配置文件分为什么？
334
1
0