AI 助理
备案控制台
开发者社区 问答 正文

flink写hdfs任务 设置了checkpoint 每天一个新目录 服务正常运行 但是发现有不少处

flink写hdfs任务 设置了checkpoint 每天一个新目录 服务正常运行 但是发现有不少处于inprogress状态的文件 未进行正常flush 是不是缺少什么配置呀？

展开
收起
黄一刀 2020-04-15 19:18:00 2636 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 黄二刀

    你可以看看这个https://mp.weixin.qq.com/s/5o8rbz07Je17ZHnRz97-Rg

    2020-04-15 19:18:22
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版
问答标签：
实时计算 Flink版任务 实时计算 Flink版checkpoint 实时计算 Flink版目录 实时计算 Flink版checkpoint目录 flink文件存储HDFS版
问答地址：
开发者社区 > 大数据 > 问答
相关问答
大数据计算MaxCompute有一组di上线任务，数据源是hdfs，每天都运行，是什么原因呢？
90
3
0
使用云上的Flink读取本地的HDFS，是否有什么配置，可以把读取HDFS的用户设置成hive ?
211
1
0
为什么需要将伸缩容后的资源设置持久化到zk和HDFS？
36
1
0
Flink里打包好的jar包上传运行，checkpoint在代码里可以设置oss-hdfs的地址么？
249
3
0
通过flink sql把数据写入hdfs，如何设置对生产的文件进行压缩？
394
1
0
flinkcdc本地启动一个flink集群，但是我flink集群的启动用户已经设置为hdfs了呢？
85
1
0
请教一个问题，flink写hdfs文件的时候，文件格式设置为parquet，这个怎么解决啊？
525
1
0
大家好。 flink1.15.2使用hdfs的filesystem做存储，现在对state设置？
196
4
0
FileSink 往hdfs上写入数据，怎么设置 Configuration的参数？找了好久 没找到
91
0
0
flinkcdc直接写入HDFS设置好的分区文件夹，hive要如何读取呢？
269
1
0