flink作业提交pyflink作业到yarn application报找不到python任务脚本,我用下列命令启动:
./flink run-application -t yarn-application \
-Dyarn.application.name=flinkcdctestpython \
-Dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \
-pyarch hdfs://nameservice1/pyflink/pyflink181.zip \
-pyclientexec pyflink181.zip/pyflink181/bin/python \
-pyexec pyflink181.zip/pyflink181/bin/python \
-py hdfs://nameservice1/pyflink/wc2.py
会报错:2024-05-24 16:38:02,030 INFO org.apache.flink.client.python.PythonDriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [Errno 2] No such file or directory
如果提交java作业则可以成功,使用下列命令:
./flink run-application -t yarn-application \
-Djobmanager.memory.process.size=1024m \
-Dtaskmanager.memory.process.size=1024m \
-Dyarn.application.name=flinkcdctest \
-Dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \
hdfs://nameservice1/pyflink/StateMachineExample.jar
是可以成功的,不会报找不到jar,但是换成python脚本就不行。找得到jar说明hdfs的配置是没问题的。
是我哪里配置还有可能疏漏吗?
确保 wc2.py 文件确实存在于 HDFS 上的路径 hdfs://nameservice1/pyflink/ 中。您可以使用 HDFS 的命令行工具来检查文件是否存在:
hdfs dfs -ls hdfs://nameservice1/pyflink/
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。