AI 助理
备案控制台
开发者社区 问答 正文

Hive如何合并小文件？

Hive如何合并小文件？

展开
收起
芯在这 2021-12-11 23:12:09 340 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    hive.merg.mapfiles=true：合并map输出

    hive.merge.mapredfiles=false：合并reduce输出

    hive.merge.size.per.task=25610001000：合并文件的大小

    hive.mergejob.maponly=true：如果支持CombineHiveInputFormat则生成只有Map的任务执行merge

    hive.merge.smallfiles.avgsize=16000000：文件的平均大小小于该值时，会启动一个MR任务执行merge。

    2021-12-11 23:12:30
    赞同 展开评论
问答分类：
SQL HIVE
问答标签：
Hive小文件
问答地址：
开发者社区 > 数据库 > 问答
相关问答
在Flink CDC中这种方式必须是hive的用户创建的表，创建的hdfs文件才能挂载没有其他方法?
98
0
0
E-MapReduce使用hue上传本地excel文件到hive表中报错'metastore'...
104
1
0
flink cdc写hdfs文件的时候，如果开启文件合并的话，最终的文件不能通过hive映射读取吗？
126
0
0
DataWorks因为hive表分区文件已存在，会报错，如何解决？
339
2
0
MaxCompute中如何把表导出成Hive Parquet文件到oss上
99
1
0
OceanBase数据库在表对表insert数据的时候可以像hive那样直接迁移表对应的数据文件吗？
117
1
0
有遇到有Flink CDC同步到hudi，hdfs上有文件，hive没有自动建表？
246
3
0
为啥我的Flink写到Hive 看 HDFS 上面是有文件的,但是Hive 查不出来？
510
1
0
flink使用jdbcsink写入hive3的话 还会产生小文件问题吗？
193
1
0
Flink1.14.4集成hive3.1.2的pom文件谁有?
111
1
0