CDH和CloudManager概述

简介: CDH和CloudManager概述

01 CDH概述


1.1 CDH简介


CDH(Cloudra’s Distribution Apache Of Hadoop) 是集成多种技术的一个框架,是Apache Hadoop和相关项目的最完整,经过测试和最流行的发行版,它提供:


  • 灵活性:存储任何类型的数据并使用各种不同的计算框架进行处理,包括批处理,交互式SQL,自由文本搜索,机器学习和统计计算。
  • 集成:在可与广泛的硬件和软件解决方案一起使用的完整Hadoop平台上快速启动并运行。
  • 安全性:处理和控制敏感数据。
  • 可扩展性:启用广泛的应用程序并进行扩展,并扩展它们以满足您的要求。
  • 高可用性:自信地执行关键任务业务任务。
  • 兼容性:利用您现有的IT基础架构和投资。


1.2 CDH架构


了解CDH架构之前,先来看看hadoop的生态构成:

微信截图_20221012094534.png


前面已经说了,CDH是集成多种技术的一个框架,其实就是Hadoop的扩展版本,那么它究竟包含了什么,下面看看一张图:

7026bffe83e645b3a543b4607f1d60de.png


1.3 CloudManager


前面了解了cdh为何物?那么是否有相关的可视化操作平台呢?当然有,也就是现在要讲的CM(Cloudra Manager),它的结构图如下:

8b700c1fb41b476c8c3728c1d622b8c8.png


CM是一个web操作平台,可以安装CDH然后再安装多种Hadoop框架,它的组件如下:


  • Clients:客户端,通过web页面和ClouderaManager和服务器进行交互;
  • API:通过API和ClouderaManagement和服务器进行交互;
  • Cloudera Repository:存储分发安装包;
  • Management Server:进行监控和预警;
  • Database:存储预警信息和配置信息;
  • Agent:分布在多台服务器,负责配置,启动和停止进程。监控主机。


02 CloudManager组件安装(CDH、Impala、Hue、oozie等服务 )


详细安装步骤参考:https://www.cnblogs.com/shun7man/p/12368349.html


这里大致描述安装的的流程:


  1. 准备三台主机,安装CentOS(设置网络和主机名->修改主机别名->设置cdh1对其它主机免密钥->关闭防火墙->禁止开机启动->SELINUX关闭)


4c6992aa8b8a4682b83f991ea8d40d04.png


  1. 安装MySql
  2. 安装JDK
  3. 安装NTP(时间管理器,用于同步时间)
  4. 为CM配置Repository(就是rpm仓库)
  5. 安装Cloudera Manager服务
  6. 配置MySql
  7. 设置Cloudea Manager数据库
  8. 安装CDH和其它软件,登录CloudManager操作

e951c58c4252403485cba241e570959d.png


03 文末


本文主要讲解了CDH以及CloudManager的概念,希望能帮助到大家,谢谢大家的阅读!


目录
相关文章
|
5月前
|
存储 SQL 分布式计算
Hadoop概述
Hadoop概述
|
5月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
127 0
|
12月前
|
存储 固态存储 关系型数据库
Apache Doris 系列: 入门篇-安装部署
Apache Doris 系列: 入门篇-安装部署
1154 0
|
存储 SQL 分布式计算
Hadoop基础学习---2、Hadoop概述
Hadoop基础学习---2、Hadoop概述
|
11月前
|
存储 SQL 分布式计算
CDH和CloudManager概述
CDH和CloudManager概述
172 0
|
分布式计算 Hadoop 网络安全
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(2)
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)
104 1
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(2)
|
分布式计算 Hadoop Java
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(1)
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)
101 1
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(1)
|
分布式计算 资源调度 Hadoop
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(3)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式
75 0
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(3)
|
XML 分布式计算 Hadoop
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(2)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式
95 0
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(2)
|
存储 分布式计算 Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(1)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式
84 0
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(1)
下一篇
无影云桌面