开发者社区> 问答> 正文

问大家,flink批处理读取多路径hdfs文件有什么好的办法吗?我是每读一个,union#Flink

问大家,flink批处理读取多路径hdfs文件有什么好的办法吗?我是每读一个,union一下,但是处理速度特别慢,同样的资 源和代码,spark8分钟处理完,flink得30分钟,发现flink从hdfs里读取数据特别慢,10多秒,才1M #Flink

展开
收起
黄一刀 2020-05-29 18:13:02 1874 0
1 条回答
写回答
取消 提交回答
  • 非常快。不用一个一个文件的读,指定目录,让它递归方式读取就行

    2020-05-29 18:13:38
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载