开发者社区> 问答> 正文

hadoop中使用crontab调度检查这个特定路径是否存在的返回源代码和相关意义是什么?

hadoop中使用crontab调度检查这个特定路径是否存在的返回源代码和相关意义是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:09:51 286 0
1 条回答
写回答
取消 提交回答
  • ## 功能: 检查给定的文件或目录在hadoop上是否存在
    ## $1 文件或者目录, 不支持*号通配符
    ## $? return 0 if file exist, none-0 otherwise
    function hadoop_check_file_exist()
    {
        ## check params
        if [ $# -ne 1 ]
        then
            log_info "Unexpected params for hadoop_check_file_exist() function! Usage: hadoop_check_file_exist <dir_or_file>";
            return 1;
        fi
    
        ## do it
        log_info "${HADOOP_EXEC} --config ${HADOOP_CONF} fs -test -e $1"
        ${HADOOP_EXEC} --config ${HADOOP_CONF} fs -test -e "$1"
        local ret=$?
        if [ $ret -eq 0 ]
        then
            log_info "$1 does exist on Hadoop"
            return 0;
        else
            log_info "($ret)$1 does NOT exist on Hadoop"
            return 2;
        fi
        return 0;
    }
    
    2021-12-06 08:10:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载