开发者社区> 问答> 正文

用odps我跑一个MR 程序,发现一个worker 应该跑很长时间的,但是这个worker 很快跑完了,然后我查看日志发现它被interupted了.

已解决

用odps我跑一个MR 程序,发现一个worker 应该跑很长时间的,但是这个worker 很快跑完了,然后我查看日志发现它被interupted了.

展开
收起
祁同伟 2017-07-04 17:05:04 2197 0
1 条回答
写回答
取消 提交回答
  • 胜天半子
    采纳回答

    这个任务是执行成功的,您说的是一个worker被channel了。
    是如果在运行中发现长尾,我们会有个优化策略,是起另外一个worker跑和他一样的工作,然后取快的一个。
    您这里被channel的就是这个情况,因为这个优化策略,有个worker跑的比它快,系统取了另外一个worker的结果了,这个就被取消了。

    2019-07-17 21:21:51
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载