AI 助理
备案控制台
开发者社区 问答 正文

Hive 数仓表中小文件带来的问题有哪些呢？

Hive 数仓表中小文件带来的问题有哪些呢？

展开
收起
游客qzzytmszf3zhq 2021-12-09 20:48:00 354 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客yzrzs5mf6j7yy

    小文件会开很多 map，一个 map 开一个 JVM 去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能 小文件会给底层文件系统带来很大压力， 如在 HDFS 中，每个小文件对象约占150 byte，如果小文件过多会占用大量内存。这样 NameNode 内存容量严重制约了集群的扩展。

    2021-12-09 20:48:12
    赞同 展开评论
问答分类：
SQL HIVE 云原生数据仓库AnalyticDB MySQL版
问答标签：
云原生数据仓库AnalyticDB MySQL版hive hive云原生数据仓库AnalyticDB MySQL版 Hive数仓 云原生数据仓库AnalyticDB MySQL版文件 云原生数据仓库AnalyticDB MySQL版表
问答地址：
开发者社区 > 数据库 > 问答
相关问答
在Flink CDC中这种方式必须是hive的用户创建的表，创建的hdfs文件才能挂载没有其他方法?
97
0
0
AnalyticDB MySQL中如何更改表的生命周期
118
1
0
AnalyticDB MySQL 读取OSS外表中特殊前缀的文件
66
1
0
在传统数仓基于Hive表的实现中，处理SCD场景存在哪些主要问题？
77
2
0
云数据仓库ADB AnalyticDB MySQL 读取OSS外表中特殊前缀的文件有吗？
101
1
0
ADB MySQL湖仓版有主从表设置吗？
79
0
0
在处理流维表JOIN时，面对Hive大维表导致的OOM问题，采取了哪些优化措施？
129
2
0
AnalyticDB MySQL 表的分区键必须是定义为主键吗
119
1
0
AnalyticDB MySQL使用OSS外表导出为一个文件
71
1
0
AnalyticDB 表生命周期数据清理具体在什么时间
65
1
0