《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (8) https://developer.aliyun.com/article/1228523?groupCode=ClouderaCDP
四、 怎样到达 CDP
1. 到达 CDP 有哪些路径
由于 CDH/HDP 的所有版本都已退出市场,而且两个产品的版本已经落后于最新的创新,且面临安全合规和 CVE 安全漏洞等方面的问题,新的 CDP 平台带来了更多的价值和创新,从旧平台(例如 Cloudera CDH 或 HDP)过渡到 CDP 公有云或 CDP 私有云的四种路径。四个路径分别是原地升级、迁移升级、滚动迁移升级和迁移到公有云。
从遗留平台的发行版到 CDP 的所有路径的每种机制都有共同的工作、缓解风险和取得成功成果的方面。其中包括工作负载审查、测试和验证、管理服务级别协议(SLA)、以及在移动期间最大程度地减少工作负载的不可用。
因为滚动式迁移升级和迁移到公有云是迁移升级的变种,这里主要讨论原地升级和迁移升级的适合场景和方法。
对于同时对公有云和 Cloudera CDP 感兴趣的用户,可以考虑直接将已有的平台迁移升级到基于阿里云部署的 CDP 平台上,这样在获取阿里云和 CDP 平台的优势的同时,又降低了运维和管理成本。
2. CDH/HDP 到 CDP 的升级路线图
CDP 目前的版本支持了 CDH 和 HDP 所有版本,他们可以原地升级和迁移升级到CDP 平台。
目前不同的集群版本可以根据自己的实际情况来选择不同的升级路线。
3. 原地升级
1) 主要任务
集群中的主要内容可以分成这样四部分:用户积累的历史数据,数据对应的 Schema等数据状态相关的元数据,数据处理的批量和流处理程序,数据上层的外部应用。其中历史数据和 Schema 不需要做特殊处理,在升级过程中会自动进行更新;但批量脚本和外部程序因为涉及到组件版本和 API 的调整,会涉及到代码改造的工作。
2) 优点
• 使用现有硬件,并添加很少的新节点(如果需要的话)。
• 许多服务的现有设置和配置将保持不变。
• 没有其他环境或相关开销。
3) 缺点
• 从 CDP 私有云基础 7.1.7 开始,原地升级当前限于 HDP2.6.5、HDP3.1.5、CDH5.13 -5.16 和 CDH6.1-6.3。如果用户的集群版本不在支持的范围内,则需要先升级到支持的集群版本,然后再升级到 CDP。
• 原地升级需要集群停机。预先安排某些类型的工作可以最大程度地减少升级当天的停机时间,例如操作系统升级或组件转换,如 Spark 1.6 到 Spark 2.X代码更新。
• 所有租户必须同时准备升级。如果一个租户遇到必须首先解决的问题,则可能会延迟该过程。
4) 何时使用
原地升级最适合具有更多重要数据足迹的大型集群。应用程序的 SLA 和停机时间要求在决策中起着至关重要的作用,因为这种升级过程需要计划停机时间。在决定原地升级策略时,旧集群的寿命和硬件刷新周期是另一个重要的考虑因素。如果集群节点在近期内不应该进行硬件刷新,则原地升级可能是获取 CDP 的最佳选择。
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (10) https://developer.aliyun.com/article/1228520?groupCode=ClouderaCDP