Flink这个参数后 yarn.provided.lib.dirs 提交到yarn的任务报这个错？Failing this attempt.Diagnostics: [2024-02-22 11:44:37.726]Failed to download resource { { hdfs://hdfs-ha/user/dw_cn_2c/streampark/flink/flink-1.14.5/lib/my_lib/jetty-server-9.4.38.v20210224.jar, 1708410583356, FILE, null },pending,[(container_e01_1708255207906_0060_02_000001)],18391950323972838,DOWNLOADING} org.apache.hadoop.yarn.exceptions.YarnException: Download and unpack failed
写回答
这个错误是由于Flink在提交到YARN时，无法下载和解压资源文件导致的。具体来说，它无法下载hdfs://hdfs-ha/user/dw_cn_2c/streampark/flink/flink-1.14.5/lib/my_lib/jetty-server-9.4.38.v20210224.jar这个文件。
要解决这个问题，你可以尝试以下方法：
检查HDFS上的文件路径是否正确。确保文件存在于指定的路径中，并且文件名和版本号与错误信息中的一致。
检查YARN集群的权限设置。确保Flink任务有足够的权限访问HDFS上的文件。
检查网络连接。确保Flink任务所在的节点可以正常访问HDFS集群。
如果问题仍然存在，可以尝试将所需的库文件打包成一个压缩包（如zip或tar），然后将压缩包上传到HDFS上的一个公共目录，然后在Flink任务中通过yarn.provided.lib.dirs参数指定该公共目录。这样，Flink任务就可以从公共目录中下载所需的库文件，而不是直接从HDFS上的私有目录中下载。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
