flink如何正则读取hdfs下的文件？
flink如何支持正则读取一个目录下的文件，比如读取文件名（时间格式命名）满足一定时间范围的文件？
来自志愿者整理的flink邮件归档来自志愿者整理的FLINK邮件归档
展开
收起
1
条回答
写回答
写回答
-
如果在Datastream层，你可以使用FiIenputFormat.setFilesFilter来设置文件的过滤器。 目前Table层并不原生支持filter，你可以考虑自己写一个table connector。 但是更推荐的是你能把这个事情换成partition来处理，这个支持的会更自然些。
jimandlice，
如果是1.10或以前，你需要写一个Datastream作业加上StreamingFileSink来写入Hive，并且列存格式只有parquet的支持。[1] - 如果是1.11(正在测试发布中)，Table/SQL层原生支持streaming file sink，相关文档正在编写中。
[1] https://ci.apache.org/projects/flink/flink-docs-master/dev/connectors/streamfile_sink.html
来自志愿者整理的flink邮件归档来自志愿者整理的FLINK邮件归档
2021-12-04 22:36:12赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
