开发者社区> 问答> 正文

hive当中distribute by 分区排序怎么做?

hive当中distribute by 分区排序怎么做?

展开
收起
游客ahv54x37wvm7u 2021-12-08 20:02:22 390 0
1 条回答
写回答
取消 提交回答
  • distribute by:类似MR中partition,进行分区,结合sort by使用
    
    设置reduce的个数,将我们对应的s_id划分到对应的reduce当中去
    set mapreduce.job.reduces=7;
    
    通过distribute by  进行数据的分区
    select * from score distribute by s_id sort by s_score;
    
    2021-12-08 20:02:36
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载