AI 助理
备案控制台
开发者社区 问答 正文

Hive 数仓表中对于已有的小文件有什么解决方法呢？

Hive 数仓表中对于已有的小文件有什么解决方法呢？

展开
收起
游客qzzytmszf3zhq 2021-12-09 20:49:28 272 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客yzrzs5mf6j7yy

    • 通过参数进行调节，设置 map/reduce 端的相关参数

    • 重建表，建表时减少 reduce 数量

    • 使用 hadoop archive 命令把小文件进行归档

    2021-12-09 20:49:38
    赞同 展开评论
问答分类：
SQL HIVE 云原生数据仓库AnalyticDB MySQL版
问答标签：
云原生数据仓库AnalyticDB MySQL版hive Hive数仓 hive云原生数据仓库AnalyticDB MySQL版 云原生数据仓库AnalyticDB MySQL版文件 Hive小文件
问答地址：
开发者社区 > 数据库 > 问答
相关问答
在Flink CDC中这种方式必须是hive的用户创建的表，创建的hdfs文件才能挂载没有其他方法?
97
0
0
AnalyticDB MySQL如何对Hive数据进行读写
65
1
0
E-MapReduce使用hue上传本地excel文件到hive表中报错'metastore'...
104
1
0
flink cdc写hdfs文件的时候，如果开启文件合并的话，最终的文件不能通过hive映射读取吗？
126
0
0
AnalyticDB MySQL 读取OSS外表中特殊前缀的文件
66
1
0
在传统数仓基于Hive表的实现中，处理SCD场景存在哪些主要问题？
77
2
0
云数据仓库ADB AnalyticDB MySQL 读取OSS外表中特殊前缀的文件有吗？
101
1
0
AnalyticDB MySQL使用OSS外表导出为一个文件
71
1
0
AnalyticDB MySQL读取Hive TEXT格式数据
77
1
0
AnalyticDB MySQL使用外表导出时执行完insert文件就生成了吗
63
1
0