《CDP企业数据云平台从入门到实践》——CDP集群管理(3)

简介: 《CDP企业数据云平台从入门到实践》——CDP集群管理(3)

《CDP企业数据云平台从入门到实践》——CDP集群管理(2) https://developer.aliyun.com/article/1228102?groupCode=ClouderaCDP


3. CM 架构


如下图所示,Cloudera Manager 的核心是 Cloudera Manager Server。Server 托管 Cloudera Manager Admin Console、Cloudera Manager API 和应用程序逻辑,并负责安装软件、配置、启动和停止服务以及管理服务运行的集群。

image.png

•Agent(代理):安装在每台主机上。该代理负责启动和停止进程、解包配置、触发安装以及监控主机。


• Management Service(管理服务):由一组角色组成的服务,这些角色执行

各种监控、警报和报告功能。


• 数据库:存储配置和监控信息。通常,多个逻辑数据库跨一个或多个数据库服务器运行。例如,CM Server 和监控角色使用不同的逻辑数据库。


• Cloudera Repository(存储库):由 CM 分发的软件存储库。


• 客户端:是与服务器交互的接口:


CM Admin Console(CM 管理控制台):基于 Web 的管理员用于管理集和 CM 的用户界面。

CM API:API 开发人员用于创建自定义 CM 应用程序。


1) 心跳

心跳是 Cloudera Manager 中的主要通信机制。默认情况下,代理每 15 秒向Cloudera Manager 服务器发送一次心跳。然而,为了减少用户延迟,当状态改变时频率会增加。


在心跳交换期间,代理将其活动通知给 Cloudera Manager 服务器。反过来,

Cloudera Manager 服务器响应代理应该执行的操作。Agent 和 Cloudera Manager Server 最终都会进行一些协调。例如,如果你启动一个服务,Agent 会尝试启动相关进程;如果进程启动失败,Cloudera Manager Server 会将启动命令标记为失败。


4. 状态管理


Cloudera Manager Server 维护集群的状态。这种状态可以分为两类:“模型”和“运行时”,两者都存储在 Cloudera Manager Server 数据库中。

image.png

Cloudera Manager 对集群和托管服务建模:它们的角色、配置和相互依赖性。模型状态捕获应该运行的位置和配置。例如,模型状态捕获一个集群包含 17 个主机的事实,每个主机都应该运行一个 DataNode。您可以通过Cloudera Manager 管理控制台配置屏幕和 API 以及“添加服务”等操作与模型进行交互。运行时状态是什么进程在哪里运行,以及什么命令(例如,重新平衡 HDFS 或运行备份/灾难恢复计划或滚动重启或停止)当前正在运行。运行时状态包括运行进程所需的确切配置文件。当您在 Cloudera Manager 管理控制台中选择 Start 时,服务器会收集相关服务和角色的所有配置,对其进行验证,生成配置文件,并将它们存储在数据库中。


当您更新配置(例如,Hue 服务器 Web 端口)时,您已经更新了模型状态。但是,如果执行此操作时 Hue 正在运行,则它仍在使用旧端口。当这种不匹配发生时,角色被标记为具有“过时的配置”。要重新同步,您需要重新启动角色(这会触发配置重新生成和进程重新启动)。


虽然 Cloudera Manager 对所有合理的配置进行建模,但某些情况不可避免地需要特殊处理。为了允许您解决问题,例如,bug 或探索不受支持的选项,Cloudera Manager 支持“高级配置片段”机制,让您可以直接将属性添加到配置文件。


《CDP企业数据云平台从入门到实践》——CDP集群管理(4) https://developer.aliyun.com/article/1228100?groupCode=ClouderaCDP

目录
相关文章
|
监控 安全 数据可视化
java基于微服务的智慧工地管理云平台SaaS源码 数据大屏端 APP移动端
围绕施工现场人、机、料、法、环、各个环节,“智慧工地”将传统建筑施工与大数据物联网无缝结合集成多个智慧应用子系统,施工数据云端整合分析,提供专业、先进、安全的智慧工地解决方案。
529 1
|
机器学习/深度学习 算法 数据可视化
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
1086 0
|
大数据 定位技术
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (3)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (3)
670 0
|
SQL 安全 大数据
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (1)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (1)
1294 0
|
弹性计算 分布式计算 安全
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (2)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (2)
775 0
|
机器学习/深度学习 消息中间件 监控
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (4)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (4)
748 0
|
SQL 分布式计算 安全
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (5)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (5)
920 0
|
存储 边缘计算 人工智能
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (1)
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (1)
963 0
|
分布式计算 安全 Hadoop
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (2)
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (2)
631 0
|
SQL 存储 分布式计算
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (3)
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (3)
749 0

热门文章

最新文章