请教大家：Hive中sort by 分区内排序如何得到全局排序结果的问题？谢谢了
在hive里，有一个表(上亿级别)含有timestamp，需要根据timestamp求最近时间的top10记录，使用select * from table sort by timestamp desc limit 10可以实现。 有个地方不太清楚：sort by 在每个reducer中进行分区内排序，结果并不是全局有序的，但是加上limit后可以取到全局topn的值，这一步是怎么做的？原理是怎样的？有哪位能告知一下？
展开
收起
1
条回答
写回答
写回答
-
目前从事大数据开发，兼顾平台搭建以及实时数据分析，主要是用scala编写程序，涉及社区开源hadoop集群，emr集群，欢迎有相同兴趣的小伙伴来交流，共同进步。最近在参与flink-java实时开发。简单点理解就是分两步去做，首先在每个reduce内部做局部排序，取到每个reduce内部的top10，然后在所有的reduce中做全局排序，找到全局的top10，最终实现全局limit 10.
2019-11-13 13:09:40赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
