请教下 flink 报错 hdfs dfs -ls 可以正常执行吗？

请教下 flink on yarn 模式跑wordcount run ./examples/batch/WordCount.jar --input hdfs://node1:8020/flink1.16.3/input/wordcount.txt --output hdfs://node1:8020/flink1.16.3/ouput 报错 hdfs dfs -ls 可以正常执行？

展开

收起

cuicuicuic 2024-01-04 12:10:41 32 0

2 条回答

写回答

取消提交回答

sunrr
这个问题可能是由于Flink在Yarn模式下运行时，无法正确访问HDFS导致的。请尝试以下解决方案：
1. 确保HDFS集群已经启动并运行正常。
2. 检查Flink的配置文件（flink-conf.yaml）中的HDFS相关配置是否正确。例如，确保fs.defaultFS指向正确的HDFS地址。
3. 检查Flink的日志文件，看是否有关于HDFS连接的错误信息。
4. 如果问题仍然存在，可以尝试在命令行中直接使用hdfs dfs -ls命令，看是否能够正常列出HDFS上的文件。如果可以，那么问题可能出在Flink的配置上；如果不能，那么问题可能出在HDFS本身。
5. 如果以上方法都无法解决问题，建议查阅Flink和HDFS的相关文档，或者寻求社区的帮助。
2024-01-05 16:20:44

赞同 1 展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
根据您提供的信息，报错信息可能是由于Flink在执行WordCount任务时无法访问HDFS。请尝试以下解决方案：
1. 确保HDFS集群正常运行，并且可以从您的机器上访问。您可以使用hdfs dfs -ls /flink1.16.3/input命令检查HDFS上的文件是否存在。
2. 检查Flink的配置文件（flink-conf.yaml）中的HDFS配置是否正确。确保fs.defaultFS和yarn.application-master的值与您的HDFS集群设置相匹配。例如：
```
fs.defaultFS: hdfs://node1:8020
yarn.application-master: yarn-cluster
```
1. 检查Flink的日志文件以获取更多关于错误的详细信息。您可以在Flink安装目录下的log文件夹中找到日志文件。
2. 如果问题仍然存在，您可以尝试在Flink的命令行中添加一些调试选项，以便查看更详细的错误信息。例如：
```
./bin/flink run -d -p 1 ./examples/batch/WordCount.jar --input hdfs://node1:8020/flink1.16.3/input/wordcount.txt --output hdfs://node1:8020/flink1.16.3/ouput -Dlog.level=DEBUG
```
2024-01-04 16:52:57

赞同 1 展开评论打赏