开发者社区> 问答> 正文

hadoop mr java.io.IOException: The temporary job-output directory xxx/path/_temporary doesn't exist!

封神 2016-04-11 13:39:20 1842

hadoop mr java.io.IOException: The temporary job-output directory xxx/path/_temporary doesn't exist!

分布式计算 Hadoop
分享到
取消 提交回答
全部回答(1)
  • 封神
    2019-07-17 18:40:38

    如果你看到上面的错误信息,有两种情况:

    Job是成功的,只是有某些task因此而失败。可能原因是job开启了预测执行,运行快的task任务完成后删除了temp目录,另一个运行慢的task需要写文件时发现目录已经被删除,出错退出,这不会影响Job输出的正确性。
    Job失败,出错信息如上。可能原因是多个相同的job同时运行,输出到同一个目录,但是运行时间有叠加,可能后一个Job开始运行时删除了目标目录,导致前一个Job运行出错。解决办法是让Job顺序执行

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题