AI 助理
备案控制台
开发者社区 问答 正文

有哪位大佬写hive处理过小文件合并的呢，你们是怎么做的呢?#Flink

有哪位大佬写hive处理过小文件合并的呢，你们是怎么做的呢?#Flink

展开
收起
黄一刀 2021-01-24 20:56:06 3911 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 黄二刀

    别问了，自己手动合[流鼻血]，自动合并只能合同批次的

    2021-01-24 20:56:27 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
SQL HIVE 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版hive hive实时计算 Flink版 小文件实时计算 Flink版 实时计算 Flink版怎么做 Hive小文件
问答地址：
开发者社区 > 大数据 > 问答
相关问答
Flink CDC里flink流作业1读取paimon表A数据插入另一张表，后面怎么做？
75
0
0
使用Flink CDC 同步MySQl。配置了多张表， 有一张A表删除了字段，然后停止同步后怎么做？
103
1
0
flink cdc写hdfs文件的时候，如果开启文件合并的话，最终的文件不能通过hive映射读取吗？
85
0
0
Flink CDC里假设我现在有台服务器是10G内存，这种情况怎么做？
78
1
0
Flink CDC里earliest-offset：跳过快照阶段，接下来怎么做？
104
1
0
Flink CDC 里我现在需要同步一个数据库的数据转换到另一个库需要怎么做？
119
2
0
我想问一下，我用的是flink mysql cdc2.3.0，这个效果怎么做？
65
1
0
DFS 的小文件问题如何影响 Flink 作业的性能，并有何解决方案？
52
1
0
flink cdc的订正和校验，有没有知道，一般怎么做的？
57
0
0
flink的校验和订正一般是怎么做的？
55
1
0