开发者社区> 问答> 正文

请问hadoop mr Task attempt_xxx_xx_xx failed to report status for 605 seconds. Killing!是什么原因

封神 2016-04-11 13:36:55 1429

请问hadoop mr Task attempt_xxx_xx_xx failed to report status for 605 seconds. Killing!是什么原因

分布式计算 Hadoop
分享到
取消 提交回答
全部回答(1)
  • 封神
    2019-07-17 18:40:37

    原因:运行在hadoop的作业,task需要在10分钟内汇报自己的进度, 如果超过10分钟未汇报进度, AppMaster就会认为该task已经失败, 通常是因为处理一行记录超过了10分钟.

    解决方法:
    首先可以自己打印log查看程序慢在哪一步,然后做针对性优化
    另外也在适当的地方(比如map或reduce函数内部)加上reporter.progress(),定期汇报进度
    如果你确认task汇报进度的时间间隔是要超过10分钟,可以修改mapred.task.timeout参数,默认值是600000(毫秒),适当调大该值,设为0表示没有超时。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题