【阿里云 CDP 公开课】 第五讲:如何迁移 CDH/HDP 到 CDP

简介: 本文整理自 Cloudera 生态资深解决方案工程师王雪峰,分享的《如何迁移CDH_HDP到CDP》,主要分为 CDP升级概述、迁移升级指南两个部分。

本期导读 :【阿里云 CDP 公开课】第五讲


主题:如何迁移 CDH/HDP 到 CDP

讲师:王雪峰,Cloudera 生态资深解决方案工程师


内容框架:

  • CDP 升级概述
  • 迁移升级指南



直播回放链接:(第5讲)

https://developer.aliyun.com/live/248385


一、CDP 升级概述

在旧 CDH/HDP 升级到新 CDP 的过程中,主要有两种原地升级迁移升级两种方式:


原地升级

迁移升级

概述

卸载旧的CDH,保留原有数据,然后安装新版CDH并升级

安装新的CDH集群,然后将现有数据拷贝至新集群,将新的CDH集群切换为生产集群

目标客户

  • 没有富余的主机资源用做中间集群
  • 能够接受较长的服务停机时间
  • 有富余的主机资源(新节点或者缩编现有节点)用做中间集群
  • 要求极短的服务宕机时间

优点

不需要任何额外硬件资源

  • 没有数据丢失风险
  • 较短的服务停机时间

缺点

  • 服务停机时间相对较长
  • 需要多重验证
  • 额外的硬件资源
  • 需要迁移数据
  • 整体升级周期较长

原地升级

image.png

版本要求

HDP2(2.6.5 以上版本)和 CDH5(5.13-5.16 版本)的用户可以直接采用原地升级,升级到 CDP7.03 以上版本。如果低于 HDP2.6.5 版本或 CDH5.13 版本,则需要先升级到对应版本再进行原地升级。而 CDH6 的用户都可以原地升级到 CDP7.1.7 以上版本;HDP3 的用户都可以原地升级到 7.1.6 以上版本。


用户特征

在原地升级的情况下,最适合的用户特征如下:

  • 没有额外的资源
  • 组织有多个集群,可以在配置较低的环境中验证整个升级测试
  • 集群里边有大型的单租户集群,而不是有很多租户,租户之间对时间要求也不一样


升级过程

image.png

  • 备份应用程序和配置
  • 已删除的组件查看和替换应用程序 (docs)
  • 从 DEV开始,升级 CM
  • 部署parcel、激活并升级到CDP Runtime
  • 完成应用冒烟测试
  • 安排停机时间
  • 升级主服务器、工作服务器、边缘服务器和客户端服务器
  • 运行工作负载并完成App Dev Signoff


升级任务

image.png



迁移升级

image.png

用户特征

在迁移升级的情况下,最适合的用户特征如下:

  • 有额外的基础设施,这一点对于阿里云用户来说得天独厚
  • 干净的开始(新服务器配置,新网络,操作系统,平台)
  • 无法承受长时间停机的租户
  • 大型的多租户集群,难以协调切换


升级过程

image.png

  • 资产清单
  • 创建新的 CDP PvC Base 集群
  • 逐步将数据和工作负载迁移到 CDP 集群
  • 随着工作负载从旧集群移出,服务器可以退役,然后添加到新的 CDP 集群
  • 重复使用或停用旧硬件


升级任务

image.png




CDH/HDP 到 CDP 升级路线图

image.png

其中较为推荐CDP7.1.7,版本更为稳定。CDP/HDP 的所有用户都可以通过原地升级或迁移升级到CDP7.1.7。如果需要使用更低的版本,可以在上图找到适合的最低版本。


技术风险和应对措施

image.png


二、迁移升级指南

迁移指导文档:

https://docs.cloudera.com/cdp-private-cloud-upgrade/latest/migrating.html  

迁移升级工作分解

image.png


迁移升级实施流程

image.png

预备期

EE6DA117-4C44-4d4c-83EE-149FAF5392AD.png

并行期

F640EBE7-CB33-4a41-9C49-13AAA307CA1D.png

运行期

30646694-8138-4961-AEC2-640F015E612F.png

数据迁移方案说明

基础组件

8D7F6A9B-7433-4bc8-8128-88B88A1740D3.png


安全+元数据

image.png

数据仓库 +操作型数据库 + 机器学习 + 数据工程

93F3F8C6-126B-4fc9-925C-883B786BF5B0.png

流处理

14D9A0DE-55A2-4a95-ADE6-56521A1C208F.png

Hbase迁移比较

D3241AEE-7F81-4a66-B257-06A486EEAEF1.png

全量&增量数据迁移

48AE257F-D2AE-4b6b-AC3C-3C8F56C90E0D.png


数据一致性校验方法

image.png




image.png

大家如果对产品感兴趣,欢迎加入到阿里云 Cloudera 企业数据云交流群。对产品有任何疑问都可以在交流群里咨询。


以下是产品的链接,有需要的用户可以直接点击链接访问和使用产品。


阿里云官网:https://ac.aliyun.com/application/cloudera

或直接访问:https://market.aliyun.com/products/201190008/cmgj00047952.html

免费测试申请:https://survey.aliyun.com/apps/zhiliao/owtTaIQU3



相关文章
|
14天前
|
存储 容灾 安全
在阿里云RDS(Relational Database Service)迁移前准备目标区域选择
在阿里云RDS(Relational Database Service)迁移前准备目标区域选择
18 3
|
19天前
|
监控 安全 关系型数据库
在规划阿里云RDS跨区迁移资源和服务可用性
在规划阿里云RDS跨区迁移资源和服务可用性
24 4
|
20天前
|
SQL 运维 关系型数据库
在阿里云RDS(Relational Database Service)进行跨区域迁移
在阿里云RDS(Relational Database Service)进行跨区域迁移
28 2
|
20天前
|
存储 运维 容灾
在规划阿里云RDS(Relational Database Service)跨区迁移
在规划阿里云RDS(Relational Database Service)跨区迁移
29 1
|
2月前
|
存储 关系型数据库 MySQL
使用阿里云的数据传输服务DTS(Data Transmission Service)进行MySQL 5.6到MySQL 8.0的迁移
使用阿里云的数据传输服务DTS(Data Transmission Service)进行MySQL 5.6到MySQL 8.0的迁移
41 1
|
20天前
|
存储 监控 关系型数据库
在规划和准备阿里云RDS(Relational Database Service)跨区域迁移
在规划和准备阿里云RDS(Relational Database Service)跨区域迁移
12 1
|
18天前
|
SQL 监控 关系型数据库
规划阿里云RDS跨区迁移业务需求迁移方案设计
规划阿里云RDS跨区迁移业务需求迁移方案设计
21 5
|
18天前
|
存储 弹性计算 关系型数据库
规划阿里云RDS跨区迁移业务需求数据量与迁移时间预估
规划阿里云RDS跨区迁移业务需求数据量与迁移时间预估
12 4
|
18天前
|
存储 运维 关系型数据库
规划阿里云RDS跨区迁移业务需求业务影响分析
规划阿里云RDS跨区迁移业务需求业务影响分析
13 4
|
19天前
|
监控 容灾 安全
规划阿里云RDS跨区迁移并构建容灾与备份策略
规划阿里云RDS(Relational Database Service)跨区迁移并构建容灾与备份策略
19 2

热门文章

最新文章