flink 1.11 streaming 写入hive 5min表相关问题
现象： CREATE TABLE test.xxx_5min (
......
) PARTITIONED BY (dt string , hm string) stored as orc TBLPROPERTIES(
'sink.partition-commit.trigger'='process-time',
'sink.partition-commit.delay'='5 min',
'sink.partition-commit.policy.kind'='metastore,success-file',
'sink.rolling-policy.file-size'='128MB',
'sink.rolling-policy.check-interval' ='30s',
'sink.rolling-policy.rollover-interval'='5min'
); dt = FROM_UNIXTIME((UNIX_TIMESTAMP()/300 * 300) ,'yyyyMMdd') hm = FROM_UNIXTIME((UNIX_TIMESTAMP()/300 * 300) ,'HHmm') 5min产生一个分区， ，checkpoint频率：30s 问题： 1.flink 1.11 steaming写入为什么是1min产生一个文件，而且文件大小没有到128M，如果参数sink.rolling-policy.rollover-interval'='5min 文件滚动时间 5min 滚动大小128M生效的话，就不应该产生这么小的问题，文件大小没有按照预期控制，为啥？ 2.小文件问题该如何解决？有什么好的思路 3. 标记文件_Success文件为啥上报延迟？ 如果是 12：30的分区，5min的分区，理论上应该12：35左右的时候就应该提交partition?*来自志愿者整理的flink邮件归档
写回答
-
Hi,
1.checkpoint会强制滚动 2.目前最简单的思路是加大checkpoint interval，另一个思路是在partition commit时触发hive去compaction。 3.success文件的生成依赖checkpoint interval，所以会有一定延迟。*来自志愿者整理的flink邮件归档
2021-12-07 11:46:16赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
