开发者社区> 问答> 正文

hadoop中通知后置任务开始执行的操作意义和源代码分别是什么?

hadoop中通知后置任务开始执行的操作意义和源代码分别是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:14:28 377 0
1 条回答
写回答
取消 提交回答
  • 把真正的后置任务加一个前置依赖任务,而这个依赖任务是部署在调度系统上的一个shell任务,该任务的前置任务是crontab调度任务的前置任务,并且这个任务做的唯一一件事情就是循环检查crontab调度任务的数据有没有产出,已经产出就结束,没有产出就sleep一小段时间之后再继续检查。
    
    
    check_partition $table_name $bizdate
    while [ $? -ne 0 ] 
    do
      sleep 5m
      hh=`date '+%H'`
      if [ $hh -gt 23 ]
      then
          echo "timeout, partition still not exist"
          exit 1
      fi  
      check_partition $table_name $bizdate
    done
    
    
    
    2021-12-06 08:14:41
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多