AI 助理
备案控制台
开发者社区 问答 正文

Hive 数仓表中小文件是如何产生的呢？

Hive 数仓表中小文件是如何产生的呢？

展开
收起
游客qzzytmszf3zhq 2021-12-09 20:47:37 553 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客yzrzs5mf6j7yy

    动态分区插入数据，产生大量的小文件，从而导致 map 数量剧增 reduce 数量越多，小文件也越多( reduce 的个数和输出文件是对应的) 数据源本身就包含大量的小文件

    2021-12-09 20:47:47
    赞同 展开评论
问答分类：
SQL HIVE 云原生数据仓库AnalyticDB MySQL版
问答标签：
云原生数据仓库AnalyticDB MySQL版hive hive云原生数据仓库AnalyticDB MySQL版 Hive数仓 云原生数据仓库AnalyticDB MySQL版文件 云原生数据仓库AnalyticDB MySQL版表
问答地址：
开发者社区 > 数据库 > 问答
相关问答
在Flink CDC中这种方式必须是hive的用户创建的表，创建的hdfs文件才能挂载没有其他方法?
97
0
0
AnalyticDB MySQL中如何更改表的生命周期
118
1
0
AnalyticDB MySQL 读取OSS外表中特殊前缀的文件
66
1
0
在传统数仓基于Hive表的实现中，处理SCD场景存在哪些主要问题？
77
2
0
云数据仓库ADB AnalyticDB MySQL 读取OSS外表中特殊前缀的文件有吗？
101
1
0
ADB MySQL湖仓版有主从表设置吗？
79
0
0
在处理流维表JOIN时，面对Hive大维表导致的OOM问题，采取了哪些优化措施？
129
2
0
AnalyticDB MySQL 表的分区键必须是定义为主键吗
119
1
0
AnalyticDB MySQL使用OSS外表导出为一个文件
71
1
0
AnalyticDB 表生命周期数据清理具体在什么时间
65
1
0