如何迁移 CDH/HDP 到 CDP
由于 CDH/HDP 的所有版本都已退出市场,而且两个产品的版本已经落后于最新的创新,且面临安全合规和 CVE 安全漏洞等方面的问题,新的 CDP 平台带来了更多的价值和创新,从旧平台(例如 Cloudera CDH 或 HDP)过渡到 CDP 公有云或 CDP 私有云的四种路径。四个路径分别是原地升级、迁移升级、滚动迁移升级和迁移到公有云。
从遗留平台的发行版到 CDP 的所有路径的每种机制都有共同的工作、缓解风险和取得成功成果的方面。其中包括工作负载审查、测试和验证、管理服务级别协议(SLA)、以及在移动期间最大程度地减少工作负载的不可用。
因为滚动式迁移升级和迁移到公有云是迁移升级的变种,这里主要讨论原地升级和迁移升级的适合场景和方法。
一、 CDP 升级概述
在旧 CDH/HDP 升级到新 CDP 的过程中,主要有原地升级、迁移升级两种方式:
1. 原地升级
1) 版本要求
HDP2(2.6.5 以上版本)和 CDH5(5.13-5.16 版本)的用户可以直接采用原地升级,升级到 CDP7.03 以上版本。如果低于 HDP2.6.5 版本或 CDH5.13 版本,则需要先升级到对应版本再进行原地升级。而 CDH6 的用户都可以原地升级到 CDP7.1.7 以上版本;HDP3 的用户都可以原地升级到 7.1.6 以上版本。
2) 用户特征
在原地升级的情况下,最适合的用户特征如下:
• 没有额外的资源。
• 组织有多个集群,可以在配置较低的环境中验证整个升级测试。
• 集群里边有大型的单租户集群,而不是有很多租户,租户之间对时间要求也不一样。
3) 升级过程
• 备份应用程序和配置
• 已删除的组件查看和替换应用程序(docs)
• 从 DEV 开始,升级 CM
• 部署 parcel、激活并升级到 CDP Runtime
• 完成应用冒烟测试
• 安排停机时间
• 升级主服务器、工作服务器、边缘服务器和客户端服务器
• 运行工作负载并完成 App Dev Signoff
4) 升级任务
集群中的主要内容可以分成这样四部分:用户积累的历史数据,数据对应的 Schema等数据状态相关的元数据,数据处理的批量和流处理程序,数据上层的外部应用。其中历史数据和 Schema 不需要做特殊处理,在升级过程中会自动进行更新;但批量脚本和外部程序因为涉及到组件版本和 API 的调整,会涉及到代码改造的工作。
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2) https://developer.aliyun.com/article/1227915?groupCode=ClouderaCDP