开发者社区> 问答> 正文

自己搭建的hadoop集群要迁移到EMR,数据怎么导上来呢?

搭建的hadoop集群,需要切换到EMR,原有集群上的数据怎么传输上来呢?

展开
收起
开源大数据EMR 2016-07-21 14:17:42 3395 0
1 条回答
写回答
取消 提交回答
  • 专注在大数据分布式计算、数据库及存储领域,拥有13+年大数据引擎、数据仓库、宽表引擎、平台研发经验,6年云智能大数据产品技术一号位经验,10年技术团队管理经验;云智能技术架构/云布道师; 研发阿里历代的大数据技术产品包括ODPS、DLA、ADB,最近五年主导宽表引擎研发、DLA、ADB湖仓研发;

    对于数据小于1T的,可以通过公网或者专有网络拷贝的。用diskcp即可。
    如果不想把emr的安全组对公网开放,可以先拷贝到OSS中,再diskcp oss hdfs拷贝过来。

    对于数据大于1T的,建议采取 海量数据迁移至OSS服务:https://market.aliyun.com/products/52738004/cmfw000394.html?spm=5176.730005.203.95.wsQ43r
    先把数据同步到OSS中,再diskcp oss hdfs拷贝过来。

    如果是ecs上自己新建的hadoop集群,可以直接diskcp拷贝数据到hadoop集群的。

    2019-07-17 19:59:13
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载