开发者社区> 问答> 正文

自己搭建的hadoop集群要迁移到EMR,数据怎么导上来呢?

开源大数据EMR 2016-07-21 14:17:42 1607

搭建的hadoop集群,需要切换到EMR,原有集群上的数据怎么传输上来呢?

分布式计算 Hadoop
分享到
取消 提交回答
全部回答(1)
  • 封神
    2019-07-17 19:59:13

    对于数据小于1T的,可以通过公网或者专有网络拷贝的。用diskcp即可。
    如果不想把emr的安全组对公网开放,可以先拷贝到OSS中,再diskcp oss hdfs拷贝过来。

    对于数据大于1T的,建议采取 海量数据迁移至OSS服务:https://market.aliyun.com/products/52738004/cmfw000394.html?spm=5176.730005.203.95.wsQ43r
    先把数据同步到OSS中,再diskcp oss hdfs拷贝过来。

    如果是ecs上自己新建的hadoop集群,可以直接diskcp拷贝数据到hadoop集群的。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题