开发者社区> 问答> 正文

hadoop中distcp基础用法是什么呢?

hadoop中distcp基础用法是什么呢?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 00:09:56 279 0
1 条回答
写回答
取消 提交回答
  • 比如拷贝A集群(src集群)的A1目录到B集群(dest集群)的B1目录, 1.同版本集群拷贝(hdfs协议):

    在dest集群(目标集群)运行命令:

    hadoop distcp hdfs://10.190.11.303:3333/user/common/liming/A1/ hdfs://10.120.20.22/user/zhangsan/B1/ 1 其中10.190.11.303是src集群的namenode地址, 3333是src集群的rpc端口(hdfs-site.xml中可查看)。10.120.20.22是dest集群的namenode IP地址

    2.跨集群版本拷贝(hftp协议):

    同样在dest集群(目标集群)运行命令:

    hadoop distcp hftp://10.190.11.303:50070/user/common/liming/A1/ hdfs://10.120.20.22/user/zhangsan/B1/ 1 类似hdfs,但是目标集群的开头要用hftp, 而且端口要变为http端口(hdfs-site.xml中可查看,如果未配置,则需要配置)。

    注意:如果集群间版本跨度不大,比如hadoop 2.6.0和hadoop2.7.0则也可以使用hdfs协议。

    2021-12-06 00:10:32
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多