开发者社区> 问答> 正文

Azure Flink中的src文件系统上的资源已更改

flink小助手 2018-11-28 16:24:32 530

"在Azure HDInsights群集上设置flink时会出现异常。

./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m
抛出:

org.apache.flink.client.deployment.ClusterDeploymentException:
Couldn't deploy Yarn session cluster

Caused by:

Failing this attempt.Diagnostics:
[2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp
changed on src filesystem (expected 1540341676000, was 1540341677000

java.io.IOException:

at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)

这似乎是因为wasb blob存储没有保留复制文件的原始时间戳,破坏了在wasb之上的HDFS API抽象。这有什么变通方法吗?

只有我能找到的其他线程是Oozie / yarn:src文件系统上的资源已更改。"

分享到
取消 提交回答
全部回答(1)
  • flink小助手
    2019-07-17 23:16:51

    "我们使用MS Azure支持,他们确认它只适用于Flink 1.4.x而不适用于1.5.x或1.6.x.

    我们将其降级到1.4.x,现在在Azure群集中工作正常。"

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题