开发者社区> 问答> 正文

Hive优化中合并小文件是什么?

Hive优化中合并小文件是什么?

展开
收起
芯在这 2021-12-11 23:33:37 340 0
1 条回答
写回答
取消 提交回答
  • hive.merg.mapfiles=true:合并map输出

    hive.merge.mapredfiles=false:合并reduce输出

    hive.merge.size.per.task=25610001000:合并文件的大小

    hive.mergejob.maponly=true:如果支持CombineHiveInputFormat则生成只有Map的任务执行merge

    hive.merge.smallfiles.avgsize=16000000:文件的平均大小小于该值时,会启动一个MR任务执行merge。

    2021-12-11 23:34:27
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Comparison of Spark SQL with Hive 立即下载
Hive Bucketing in Apache Spark 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载