1
条回答
写回答
写回答
-
hadoop 默认的是对 key 进行排序，如果想要再对 value 进行排序，那么就要使用：二级排序 二级排序的方式： 1：将 reduce 接收到的 value-list 的值缓存，然后做 reduce 内排序，再写出，这样排序速度快一些，由于value-list 的数据可能很庞大，可能会造成内存的溢出 2：将值的一部分或则整个部分加入 key ，生成一个合并的可以。生成组合 key 的过程很简单。我们需要先分析一下，在排序时需要把值的哪些部分考虑在内，然后，把它们加进 key 里去。随后，再修改 key 类的 compareTo 方法或是 Comparator 类，确保排序的时候使用这个组合而成的 key
2020-02-14 19:36:47赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
