开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink这个参数后 yarn.provided.lib.dirs 提交到yarn的任务报这个错?

Flink这个参数后 yarn.provided.lib.dirs 提交到yarn的任务报这个错?Failing this attempt.Diagnostics: [2024-02-22 11:44:37.726]Failed to download resource { { hdfs://hdfs-ha/user/dw_cn_2c/streampark/flink/flink-1.14.5/lib/my_lib/jetty-server-9.4.38.v20210224.jar, 1708410583356, FILE, null },pending,[(container_e01_1708255207906_0060_02_000001)],18391950323972838,DOWNLOADING} org.apache.hadoop.yarn.exceptions.YarnException: Download and unpack failed

展开
收起
真的很搞笑 2024-02-25 08:10:50 341 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个错误是由于Flink在提交到YARN时,无法下载和解压资源文件导致的。具体来说,它无法下载hdfs://hdfs-ha/user/dw_cn_2c/streampark/flink/flink-1.14.5/lib/my_lib/jetty-server-9.4.38.v20210224.jar这个文件。

    要解决这个问题,你可以尝试以下方法:

    1. 检查HDFS上的文件路径是否正确。确保文件存在于指定的路径中,并且文件名和版本号与错误信息中的一致。

    2. 检查YARN集群的权限设置。确保Flink任务有足够的权限访问HDFS上的文件。

    3. 检查网络连接。确保Flink任务所在的节点可以正常访问HDFS集群。

    4. 如果问题仍然存在,可以尝试将所需的库文件打包成一个压缩包(如zip或tar),然后将压缩包上传到HDFS上的一个公共目录,然后在Flink任务中通过yarn.provided.lib.dirs参数指定该公共目录。这样,Flink任务就可以从公共目录中下载所需的库文件,而不是直接从HDFS上的私有目录中下载。

    2024-02-25 18:47:35
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载