Flink这个参数后 yarn.provided.lib.dirs 提交到yarn的任务报这个错?Failing this attempt.Diagnostics: [2024-02-22 11:44:37.726]Failed to download resource { { hdfs://hdfs-ha/user/dw_cn_2c/streampark/flink/flink-1.14.5/lib/my_lib/jetty-server-9.4.38.v20210224.jar, 1708410583356, FILE, null },pending,[(container_e01_1708255207906_0060_02_000001)],18391950323972838,DOWNLOADING} org.apache.hadoop.yarn.exceptions.YarnException: Download and unpack failed
这个错误是由于Flink在提交到YARN时,无法下载和解压资源文件导致的。具体来说,它无法下载hdfs://hdfs-ha/user/dw_cn_2c/streampark/flink/flink-1.14.5/lib/my_lib/jetty-server-9.4.38.v20210224.jar
这个文件。
要解决这个问题,你可以尝试以下方法:
检查HDFS上的文件路径是否正确。确保文件存在于指定的路径中,并且文件名和版本号与错误信息中的一致。
检查YARN集群的权限设置。确保Flink任务有足够的权限访问HDFS上的文件。
检查网络连接。确保Flink任务所在的节点可以正常访问HDFS集群。
如果问题仍然存在,可以尝试将所需的库文件打包成一个压缩包(如zip或tar),然后将压缩包上传到HDFS上的一个公共目录,然后在Flink任务中通过yarn.provided.lib.dirs
参数指定该公共目录。这样,Flink任务就可以从公共目录中下载所需的库文件,而不是直接从HDFS上的私有目录中下载。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。