自建Hadoop数据迁移到阿里云EMR

简介: 客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后,会将自建Hadoop集群的数据迁移到阿里云自建部署架构图 Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。

作者:云魁、连辙

最佳实践概述

应用场景

客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。但是由于自建HDFS空间限制无法保存长期数据,或者客户有Hadoop集群迁移上云的需求。本实践方案提供如下场景的最佳实践:

基于IPSec VPN隧道 + DistCp(Hadoop原生工具),将数据迁移到阿里云EMR集群,目标存储包括HDFS,阿里云OSS和阿里云EMR的Jindo

技术架构

本实践方案基于如下图所示的技术架构和主要流程编写操作步骤:
image.png

方案优势

  • 安全性
    基于IPSec VPN/专线的方式进行数据安全传输。
  • 低成本
    在阿里云创建Hadoop类型的EMR集群和自建Hadoop集群相比有一定成本优势,同时阿里云EMR可以使用OSS作为底层存储空间,进一步降低成本。

在进行本文操作之前,您需要完成以下准备工作:

  • 拥有阿里云实名认证账号。
  • 拥有已经通过备案的域名。
  • 保证账号余额大于100元人民币。
  • 开通ECS、OSS、EMR和VPN网关等服务。

资源规划说明

  • 本方案实践的资源规划仅作为实践演示,实际业务场景资源以用户实际需求为准。
  • 本实践方案中,涉及到阿里云资源开通和购买,本文后续实例中不单独展示服务开通相关操作,请使用者自行完成。
  • 本实践方案在使用过程中,大致流程和实际操作所需的时长如下(不包含文档阅读时间),供使用者参考:
    image.png

1. 自建Hadoop集群环境搭建

本实践方案中,使用上海VPC环境模拟客户IDC网络,主要安装以下组件:

(1) 在ECS上安装FlexGW VPN,用于模拟客户IDC网络中的VPN网关;
(2) 在ECS上安装Apache日志模拟器,用于生成Apache格式的日志信息;
(3) 在ECS上安装Kafka,用于集中存储Flume发送的日志;
(4) 在ECS上安装3节点的Hadoop集群,其中的HDFS用于集中保存日志数据信息。

1.1. 创建VPC网络

步骤1 登录专有网络VPC产品控制台
步骤2 单击创建专有网络。
image.png
步骤3 在创建专有网络页面,参考下表,配置专有网络和交换机相关参数,并单击确定。
image.png
image.png
image.png
步骤4 等待专有网络和交换机创建成功后,单击完成。

1.2. 批量创建ECS实例

创建ECS实例
步骤1 登录上海区域的ECS产品控制台
步骤2 单击右上角的创建实例。
步骤3自定义购买模式下,配置相关参数。
参考下表,配置基础配置相关内容。
image.png
配置完成,单击下一步:网络和安全组
image.png
单击查看历史价格 ,在抢占式实例历史价格走势图中,可以看到可用区F的实例当前市场价格为0.034,因此,我们设置单台上限价为0.04,要求略高于当前市场价格。
image.png
image.png
步骤4 在网络和安全组页面,参考下表,配置相关参数。
image.png
配置完成,单击下一步:系统配置。
image.png
步骤5 在系统配置页面,参考下表,配置相关参数。
image.png
配置完成,单击确认订单
image.png
步骤6 在确认订单页面,确认各项参数信息。确认无误,阅读、同意并勾选《云服务器ECS服务条款》和《镜像商品使用条款》,并单击创建实例。
image.png
步骤7 创建任务提交成功后,单击管理控制台前往ECS实例列表页面查看详情。为了在控制台便于识别ECS的用途,首先将实例名称修改为如下图所示:image.png
image.png
步骤8 将Kafka队列和FlexGW VPN这两个实例关机,将系统盘更换为云市场的镜像,节省基础环境部署时间。
image.png
image.png
步骤9 首先为FlexGW VPN网关实例更换系统盘。

  1. 单击实例操作列下的更多 > 磁盘和镜像 > 更换操作系统。
    image.png
  2. 单击右下角确定,更换系统盘按钮。
    image.png
  3. 选择镜像市场,单击从镜像市场选择(含操作系统)。
    image.png
  4. 在搜索框中输入flexgw,定位到FlexGW IPsec VPN服务器企业版,并单击使用。
    image.png
  5. 选择自定义密码,并设置登录密码。
    image.png

步骤10 参考步骤9为Kafka队列实例更换系统盘,选择下面的镜像。
image.png

(可选)配置安全组

在实例所在安全组中确认22、80和443端口的放通情况,如果有未放通端口,请按照下面步骤进行放通。
步骤1 在ECS控制台,单击FlexGW VPN网关实例操作列下的管理 。
步骤2 在左侧导航栏单击本实例安全组。
image.png
步骤3 单击对应安全组操作列下的配置规则。
image.png
步骤4 在入方向页签下,单击快速创建规则。
image.png
步骤5 在快速创建规则对话框中,根据下图配置相关参数,并单击确定 。
image.png

因篇幅原因,余下内容请点击原文链接阅读


阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区数个Spark技术同学每日在线答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!
image.png

相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析,介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
2月前
|
监控 NoSQL 关系型数据库
在进行RDS(例如阿里云的RDS)数据迁移后,评估数据一致性
在进行RDS(例如阿里云的RDS)数据迁移后,评估数据一致性
124 3
|
4月前
|
关系型数据库 MySQL BI
用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享
本文从用友畅捷通公司介绍及业务背景;数据仓库技术选型、实际案例及未来规划等方面,分享了用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓的实战经验。
574 0
用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享
|
1月前
|
数据库
阿里云DTS数据迁移和数据同步的差异性分析
阿里云DTS作为一款常用的数据库表迁移工具,提供了功能非常类似的两个功能:数据迁移、数据同步。阿里云DTS产品官网对这两个功能模块进行了简单的区分: 场景1:存量数据批量迁移,建议使用数据迁移功能。 场景2:增量数据实时同步,建议使用数据同步功能。 实际上,无论是数据迁移还是数据同步,都可以做 “结构初始化”+“全量数据迁移”+“增量迁移”,因此两者功能差异并不明显。笔者在多个项目实践DTS数据迁移,在简单需求场景下,将DTS的数据迁移、数据同步进行对比和总结。
|
8月前
|
存储 SQL 分布式计算
阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)
阿里云全托管flink-vvp平台hudi sink connector实践,本文数据湖hudi基于阿里云E-MapReduce产品,以云对象存储oss-hdfs作为存储
|
11月前
|
SQL 存储 监控
水滴筹基于阿里云 EMR StarRocks 实战分享
水滴筹大数据部门的数据开发工程师韩园园老师为大家分享水滴筹基于阿里云EMR StarRocks的实战经验。
5763 3
水滴筹基于阿里云 EMR StarRocks 实战分享
|
25天前
|
分布式计算 运维 大数据
阿里云 EMR Serverless Spark 版免费邀测中
阿里云 EMR Serverless Spark 版,以 Spark Native Engine 为基础,旨在提供一个全托管、一站式的数据开发平台。诚邀您参与 EMR Serverless Spark 版免费测试,体验 100% 兼容 Spark 的 Serverless 服务:https://survey.aliyun.com/apps/zhiliao/iscizrF54
379 0
阿里云 EMR Serverless Spark 版免费邀测中
|
3月前
|
存储 分布式计算 Apache
阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse
Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
64599 1
阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse
|
4月前
|
数据采集 DataWorks 数据安全/隐私保护
有没有方式可以实现dataworks数据迁移(从阿里云一个账号迁移到另外一个账号)?
有没有方式可以实现dataworks数据迁移(从阿里云一个账号迁移到另外一个账号)?
78 0
|
4月前
|
数据采集 DataWorks 数据安全/隐私保护
有没有方式可以实现dataworks数据迁移(从阿里云一个账号迁移到另外一个账号)?
有没有方式可以实现dataworks数据迁移(从阿里云一个账号迁移到另外一个账号)?
36 2