开发者社区> 问答> 正文

Hive 中数据分桶的原理是什么?

Hive 中数据分桶的原理是什么?

展开
收起
xin在这 2021-12-11 23:22:24 380 0
1 条回答
写回答
取消 提交回答
  • 跟MR中的HashPartitioner的原理一模一样

    MR中:按照key的hash值去模除以reductTask的个数

    Hive中:按照分桶字段的hash值去模除以分桶的个数

    Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

    2021-12-11 23:22:39
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Comparison of Spark SQL with Hive 立即下载
Hive Bucketing in Apache Spark 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载