开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

提交pyflink作业到yarn application报找不到python脚本,是哪里配置错了吗?

flink作业提交pyflink作业到yarn application报找不到python任务脚本,我用下列命令启动:

./flink run-application -t yarn-application \

-Dyarn.application.name=flinkcdctestpython \

-Dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \

-pyarch hdfs://nameservice1/pyflink/pyflink181.zip \

-pyclientexec pyflink181.zip/pyflink181/bin/python \

-pyexec pyflink181.zip/pyflink181/bin/python \

-py hdfs://nameservice1/pyflink/wc2.py

会报错:2024-05-24 16:38:02,030 INFO org.apache.flink.client.python.PythonDriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [Errno 2] No such file or directory

如果提交java作业则可以成功,使用下列命令:

./flink run-application -t yarn-application \

-Djobmanager.memory.process.size=1024m \

-Dtaskmanager.memory.process.size=1024m \

-Dyarn.application.name=flinkcdctest \

-Dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \

hdfs://nameservice1/pyflink/StateMachineExample.jar

是可以成功的,不会报找不到jar,但是换成python脚本就不行。找得到jar说明hdfs的配置是没问题的。

是我哪里配置还有可能疏漏吗?

展开
收起
游客m3kg4pk56u5qm 2024-05-24 17:17:45 62 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    确保 wc2.py 文件确实存在于 HDFS 上的路径 hdfs://nameservice1/pyflink/ 中。您可以使用 HDFS 的命令行工具来检查文件是否存在:

    hdfs dfs -ls hdfs://nameservice1/pyflink/

    2024-05-25 13:32:49
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载