开发者社区> 问答> 正文

请教各位大佬,flink读取hdfs文件时的疑问

flink读取hdfs文件时,FileInputFormat.java类中,acceptFile()方法默认过滤掉了以"_"和"."开头的文件,那如果读入了in-progress文件和.pending文件, 在执行open()方法时,突然in-progress或.pending文件状态发生了改变而导致原来的文件路径消失,会不会出现什么问题?或者是有没有可能出现这种情况?

*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-02 14:53:43 636 0
1 条回答
写回答
取消 提交回答
  • 图片2.png

    *来自志愿者整理的FLINK邮件归档

    2021-12-02 15:03:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink峰会 - 李佳林 立即下载
Flink峰会 - 徐榜江 立即下载
海量数据分布式存储——Apache HDFS之最新进展 立即下载