《CDP企业数据云平台从入门到实践》——CDP集群管理(2) https://developer.aliyun.com/article/1228102?groupCode=ClouderaCDP
3. CM 架构
如下图所示,Cloudera Manager 的核心是 Cloudera Manager Server。Server 托管 Cloudera Manager Admin Console、Cloudera Manager API 和应用程序逻辑,并负责安装软件、配置、启动和停止服务以及管理服务运行的集群。
•Agent(代理):安装在每台主机上。该代理负责启动和停止进程、解包配置、触发安装以及监控主机。
• Management Service(管理服务):由一组角色组成的服务,这些角色执行
各种监控、警报和报告功能。
• 数据库:存储配置和监控信息。通常,多个逻辑数据库跨一个或多个数据库服务器运行。例如,CM Server 和监控角色使用不同的逻辑数据库。
• Cloudera Repository(存储库):由 CM 分发的软件存储库。
• 客户端:是与服务器交互的接口:
CM Admin Console(CM 管理控制台):基于 Web 的管理员用于管理集和 CM 的用户界面。
CM API:API 开发人员用于创建自定义 CM 应用程序。
1) 心跳
心跳是 Cloudera Manager 中的主要通信机制。默认情况下,代理每 15 秒向Cloudera Manager 服务器发送一次心跳。然而,为了减少用户延迟,当状态改变时频率会增加。
在心跳交换期间,代理将其活动通知给 Cloudera Manager 服务器。反过来,
Cloudera Manager 服务器响应代理应该执行的操作。Agent 和 Cloudera Manager Server 最终都会进行一些协调。例如,如果你启动一个服务,Agent 会尝试启动相关进程;如果进程启动失败,Cloudera Manager Server 会将启动命令标记为失败。
4. 状态管理
Cloudera Manager Server 维护集群的状态。这种状态可以分为两类:“模型”和“运行时”,两者都存储在 Cloudera Manager Server 数据库中。
Cloudera Manager 对集群和托管服务建模:它们的角色、配置和相互依赖性。模型状态捕获应该运行的位置和配置。例如,模型状态捕获一个集群包含 17 个主机的事实,每个主机都应该运行一个 DataNode。您可以通过Cloudera Manager 管理控制台配置屏幕和 API 以及“添加服务”等操作与模型进行交互。运行时状态是什么进程在哪里运行,以及什么命令(例如,重新平衡 HDFS 或运行备份/灾难恢复计划或滚动重启或停止)当前正在运行。运行时状态包括运行进程所需的确切配置文件。当您在 Cloudera Manager 管理控制台中选择 Start 时,服务器会收集相关服务和角色的所有配置,对其进行验证,生成配置文件,并将它们存储在数据库中。
当您更新配置(例如,Hue 服务器 Web 端口)时,您已经更新了模型状态。但是,如果执行此操作时 Hue 正在运行,则它仍在使用旧端口。当这种不匹配发生时,角色被标记为具有“过时的配置”。要重新同步,您需要重新启动角色(这会触发配置重新生成和进程重新启动)。
虽然 Cloudera Manager 对所有合理的配置进行建模,但某些情况不可避免地需要特殊处理。为了允许您解决问题,例如,bug 或探索不受支持的选项,Cloudera Manager 支持“高级配置片段”机制,让您可以直接将属性添加到配置文件。
《CDP企业数据云平台从入门到实践》——CDP集群管理(4) https://developer.aliyun.com/article/1228100?groupCode=ClouderaCDP