CDP 集群管理
Cloudera 和阿里云深度合作推出了基于阿里云部署的 Cloudera 企业数据云平台,即 CDP 平台。CDP 由两个最好的开源数据分析平台 CDH 和 HDP 融合而来,集合了两个平台各自的最佳功能,同时增加了新功能。本文主要介绍 CDP 的集群管理。
我们现在使用的是本地部署的 CDP 平台,这款产品由 40 多个组件组成,在原来的CDH 和 HDP 基础上增加了不少功能,同时提供了很多企业定制化的功能。整个 CDP 平台主要分成了以下几部分:
上图左侧是运营和管理部分,主要是通过 Cloudera Manager 来控制。
上图中间方框内的部分,包含了整个的数据存储、数据移动、任务编排和用户接口、计算、运营数据库、数据仓库、搜索安全和治理,同时还有加密相关的内容。Cloudera 其他产品,如 CDSW、Cloudera DataFlow、Cloudera Workload XM,也都可以通过 Cloudera Manager 来管理,提供统一的使用和支持。
一、 Cloudera Manager 概览
1. Cloudera Manager 的总体功能
Cloudera Manager 是用于管理、配置和监控 CDP 私有云基础集群和 Cloudera Runtime 服务的应用程序。
Cloudera Manager 服务器在您的 CDP 私有云基础部署中的一台主机上运行,并使用在集群中每台主机上运行的 Cloudera Manager Agent 管理一个或多个集群。
Cloudera Manager 管理控制台是一个 Web 应用程序管理员,其他人可以使用它来管理 CDP 私有云基础部署。使用 Cloudera Manager 管理控制台,您可以启动和停止集群和单个服务、配置和添加新服务、管理安全性以及升级集群。您还可以使用Cloudera Manager API 以编程方式执行管理任务。
Cloudera Manager 版本独立于它所属的 CDP Private Cloud Base 版本。
Cloudera Manager 是一个用于管理集群的端到端应用程序。借助 Cloudera
Manager,您可以轻松部署和集中操作完整的 Cloudera Runtime 堆栈和其他托管服务。该应用程序可自动执行安装和升级过程,并为您提供集群范围内的主机和正在运行的服务的实时视图。Cloudera Manager Admin Console 提供了一个单一的中央控制台,您可以在其中更改整个集群的配置,并结合了全方位的报告和诊断工具来帮助您优化性能和利用率。Cloudera Manager 还管理安全和加密功能。
Cloudera Manager 的单个实例可以管理多个集群,包括旧版本的 Cloudera
Runtime 和 CDH。
它覆盖了集群所有资源与服务的统一配置、管理、监控、诊断等所有管理工作,包含:
• 自动化部署
• 智能配置警告
• 高可用配置
• 多集群多版本管理
• 细粒度的运维用户管理
• 静态和动态资源管理
• 全局时间轴控制
• 智能日志管理
• 定制化的指标报表
• 开放 API 可以集成第三方工具
• SDX
• 公有云/私有云架构支持
《CDP企业数据云平台从入门到实践》——CDP集群管理(2) https://developer.aliyun.com/article/1228102?groupCode=ClouderaCDP