开发者社区> 问答> 正文

flink可以像spark一样正则读取hdfs目录下的文件吗?

input_data = "hdfs://localhost:9002/tmp/match_bak/%s*[0-9]" % ('2018-07-16’) result = sc.textFile(input_data) flink可以像spark一样正则读取hdfs目录下的文件吗?目前测试好像不行,如果不支持,最早什么版本会支持呢?

来自志愿者整理的flink邮件归档来自志愿者整理的FLINK邮件归档

展开
收起
小阿怪 2021-12-04 19:25:07 650 0
1 条回答
写回答
取消 提交回答
  • 我们在1.11已经支持了较完整的filesystem支持,并且支持分区。(csv,json,avro,parquet,orc)

    对于灵活的read,争取在1.12完成。已经有issue了: https://issues.apache.org/jira/browse/FLINK-17398

    来自志愿者整理的flink邮件归档来自志愿者整理的FLINK邮件归档

    2021-12-04 22:34:22
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Spark Streaming At Bing Scale 立即下载
Apache Spark: Cloud and On-Prem 立即下载
海量数据分布式存储——Apache HDFS之最新进展 立即下载