开发者社区> 阿里云E-MapReduce团队> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

自建Hadoop数据迁移到阿里云EMR

简介: 客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后,会将自建Hadoop集群的数据迁移到阿里云自建部署架构图 Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。
+关注继续查看

作者:云魁、连辙

最佳实践概述

应用场景

客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。但是由于自建HDFS空间限制无法保存长期数据,或者客户有Hadoop集群迁移上云的需求。本实践方案提供如下场景的最佳实践:

基于IPSec VPN隧道 + DistCp(Hadoop原生工具),将数据迁移到阿里云EMR集群,目标存储包括HDFS,阿里云OSS和阿里云EMR的Jindo

技术架构

本实践方案基于如下图所示的技术架构和主要流程编写操作步骤:
image.png

方案优势

  • 安全性
    基于IPSec VPN/专线的方式进行数据安全传输。
  • 低成本
    在阿里云创建Hadoop类型的EMR集群和自建Hadoop集群相比有一定成本优势,同时阿里云EMR可以使用OSS作为底层存储空间,进一步降低成本。

在进行本文操作之前,您需要完成以下准备工作:

  • 拥有阿里云实名认证账号。
  • 拥有已经通过备案的域名。
  • 保证账号余额大于100元人民币。
  • 开通ECS、OSS、EMR和VPN网关等服务。

资源规划说明

  • 本方案实践的资源规划仅作为实践演示,实际业务场景资源以用户实际需求为准。
  • 本实践方案中,涉及到阿里云资源开通和购买,本文后续实例中不单独展示服务开通相关操作,请使用者自行完成。
  • 本实践方案在使用过程中,大致流程和实际操作所需的时长如下(不包含文档阅读时间),供使用者参考:
    image.png

1. 自建Hadoop集群环境搭建

本实践方案中,使用上海VPC环境模拟客户IDC网络,主要安装以下组件:

(1) 在ECS上安装FlexGW VPN,用于模拟客户IDC网络中的VPN网关;
(2) 在ECS上安装Apache日志模拟器,用于生成Apache格式的日志信息;
(3) 在ECS上安装Kafka,用于集中存储Flume发送的日志;
(4) 在ECS上安装3节点的Hadoop集群,其中的HDFS用于集中保存日志数据信息。

1.1. 创建VPC网络

步骤1 登录专有网络VPC产品控制台
步骤2 单击创建专有网络。
image.png
步骤3 在创建专有网络页面,参考下表,配置专有网络和交换机相关参数,并单击确定。
image.png
image.png
image.png
步骤4 等待专有网络和交换机创建成功后,单击完成。

1.2. 批量创建ECS实例

创建ECS实例
步骤1 登录上海区域的ECS产品控制台
步骤2 单击右上角的创建实例。
步骤3自定义购买模式下,配置相关参数。
参考下表,配置基础配置相关内容。
image.png
配置完成,单击下一步:网络和安全组
image.png
单击查看历史价格 ,在抢占式实例历史价格走势图中,可以看到可用区F的实例当前市场价格为0.034,因此,我们设置单台上限价为0.04,要求略高于当前市场价格。
image.png
image.png
步骤4 在网络和安全组页面,参考下表,配置相关参数。
image.png
配置完成,单击下一步:系统配置。
image.png
步骤5 在系统配置页面,参考下表,配置相关参数。
image.png
配置完成,单击确认订单
image.png
步骤6 在确认订单页面,确认各项参数信息。确认无误,阅读、同意并勾选《云服务器ECS服务条款》和《镜像商品使用条款》,并单击创建实例。
image.png
步骤7 创建任务提交成功后,单击管理控制台前往ECS实例列表页面查看详情。为了在控制台便于识别ECS的用途,首先将实例名称修改为如下图所示:image.png
image.png
步骤8 将Kafka队列和FlexGW VPN这两个实例关机,将系统盘更换为云市场的镜像,节省基础环境部署时间。
image.png
image.png
步骤9 首先为FlexGW VPN网关实例更换系统盘。

  1. 单击实例操作列下的更多 > 磁盘和镜像 > 更换操作系统。
    image.png
  2. 单击右下角确定,更换系统盘按钮。
    image.png
  3. 选择镜像市场,单击从镜像市场选择(含操作系统)。
    image.png
  4. 在搜索框中输入flexgw,定位到FlexGW IPsec VPN服务器企业版,并单击使用。
    image.png
  5. 选择自定义密码,并设置登录密码。
    image.png

步骤10 参考步骤9为Kafka队列实例更换系统盘,选择下面的镜像。
image.png

(可选)配置安全组

在实例所在安全组中确认22、80和443端口的放通情况,如果有未放通端口,请按照下面步骤进行放通。
步骤1 在ECS控制台,单击FlexGW VPN网关实例操作列下的管理 。
步骤2 在左侧导航栏单击本实例安全组。
image.png
步骤3 单击对应安全组操作列下的配置规则。
image.png
步骤4 在入方向页签下,单击快速创建规则。
image.png
步骤5 在快速创建规则对话框中,根据下图配置相关参数,并单击确定 。
image.png

因篇幅原因,余下内容请点击原文链接阅读


阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区数个Spark技术同学每日在线答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!
image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
大数据— Hadoop
大数据— Hadoop
49 0
阿里云数据库“扩圈”
“生态防护林”雏形初现
387 0
大数据_Hadoop初体验
hadoop指的是Apache一款java开源软件,是一个大数据分析处理平台。
80 0
架构数据缓存阶段和两个维度拓展阶段——阿里云 MVP乔锐杰
乔锐杰,上海驻云运维总监,江湖人称“乔帮主”。本文是乔帮主在阿里云的直播中分享《阿里云千万级架构的构建——架构的成长演变之路》的第四部分。
824 0
数据到hadoop的迁移
最近在用flume和sqoop来做非关系数据(日志)和关系数据(MYSQL)迁移到hdfs的工作,简单记录下使用过程,以此总结 一 flume的使用 使用flume把web的log日志数据导入到hdfs上 步骤 1 在 elephant 节点上 先安装...
1359 0
详解:从Greenplum、Hadoop到现在的阿里大数据技术
在2016云栖大会·武汉峰会上,阿里云技术专家宋杰分享了他对云计算的三条路径的理解和感悟,并且阐述了云计算对于企业而言到底意味着什么的问题。那么阿里大数据发展之路经历了哪三次技术突围?阿里又是如何通过十余年的技术沉淀最终铸就飞天系统的呢?本文将为你揭晓答案,精彩不容错过。
10127 0
217
文章
14
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
相关文档: E-MapReduce
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载