开发者社区> 问答> 正文

hadoop中从分布式集群下载数据hdfs下载数据的函数的操作意义和源代码分别是什么?

hadoop中从分布式集群下载数据hdfs下载数据的函数的操作意义和源代码分别是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:13:28 522 0
1 条回答
写回答
取消 提交回答
  • ## 功能: 将hadoop上的文件下载到本地并merge到一个文件中
    ## $1 hadoop叶子目录 或 文件名--支持通配符 (*)
    ## $2 本地文件名
    ## $? return 0 if success, none-0 otherwise
    function hadoop_getmerge()
    {
        ## check params
        if [ $# -ne 2 ]
        then
            log_info "Unexpected params for hadoop_getmerge() function! Usage: hadoop_getmerge <hadoop_file> <local_file>";
            return 1;
        fi
    
        if [ -f $2 ]
        then
            log_info "Can not do hadoop_getmerge because local file $2 already exists!"
            return 2;
        fi
    
        ## do it
        ${HADOOP_EXEC} --config ${HADOOP_CONF} fs -getmerge $1 $2;
        if [ $? -ne 0 ]
        then
            log_info "Do hadoop_getmerge FAILED! Source: $1, target: $2";
            return 3;
        else
            log_info "Do hadoop_getmerge OK! Source: $1, target: $2";
            return 0;
        fi
    
        return 0;
    }
    
    2021-12-06 08:19:54
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载