Hadoop学习笔记(HDP)-Part.01 关于HDP

简介: 本文介绍HDP大数据平台部署全流程,涵盖Ambari集群管理、核心组件原理、资源规划及环境配置,并详细讲解JDK、MySQL、Kerberos等依赖安装,以及HDFS、YARN、Hive、HBase、Spark、Flink、Kafka等组件的部署方法。

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

一、关于HDP

1.Ambari

Ambari是一种基于Web的工具,支持Apache Hadoop集群的创建、管理和监控。
Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
Ambari自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server和Ambari Agent。简单来说,用户通过Ambari Server通知Ambari Agent安装对应的软件;Agent会定时地发送各个机器每个软件模块的状态给Ambari Server,最终这些状态信息会呈现在Ambari的GUI,方便用户了解到集群的各种状态,并进行相应的维护。

2.HDP

不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称HDP)。
HDP安装包主要包括如下内容:
HDP
HDP是hortonworks的软件栈,里面包含了hadoop生态系统的所有软件项目,比如HBase、Zookeeper、Hive、Pig等等。
HDP-UTILS
HDP-UTILS是工具类库。
HDP-GPL
新版hadoop使用了LZO数据压缩库,这个协议跟HDP栈的协议不相同,需要使用GPL。
官方指导:
https://docs.cloudera.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_Getting_Ready.html
版本对应查询:
https://supportmatrix.cloudera.com/#Hortonworks

相关文章
|
分布式计算 资源调度 监控
Hadoop学习笔记(四)之YARN
Hadoop学习笔记(四)之YARN
|
存储 分布式计算 资源调度
Hadoop学习笔记(一)
Hadoop学习笔记(一)
|
SQL 分布式计算 并行计算
Hadoop学习笔记(三)之MapReduce
Hadoop学习笔记(三)之MapReduce
|
存储 分布式计算 负载均衡
Hadoop学习笔记(二)之HDFS
Hadoop学习笔记(二)之HDFS
|
分布式计算 Hadoop 数据库
Hadoop学习笔记(HDP)-Part.08 部署Ambari集群
本文为HDP集群部署系列教程第八部分,详细介绍如何通过Ambari搭建HDP集群。涵盖Ambari数据库配置、ambari-server与ambari-agent的安装部署、自动化设置及Web界面登录等步骤,助力用户高效完成集群管理平台搭建。
484 0
|
分布式计算 资源调度 Hadoop
安装hadoop学习笔记
安装hadoop学习笔记
122 0
安装hadoop学习笔记
|
分布式计算 Hadoop 关系型数据库
Hadoop学习笔记(HDP)-Part.10 创建集群
本文为HDP集群部署系列第十篇,详细介绍通过Ambari创建集群的完整流程,包括版本选择、节点配置、服务安装及ZooKeeper核心参数解析,涵盖常用命令与典型问题处理,助力高效搭建稳定大数据环境。
423 0
|
分布式计算 Hadoop 网络安全
Hadoop学习笔记(HDP)-Part.04 基础环境配置
本文为HDP集群部署系列教程,涵盖从环境准备到组件安装的完整流程。包括SSH免密登录、Ansible自动化配置、主机名与hosts设置、基础软件安装、防火墙与SELinux关闭、NTP时钟同步及磁盘分区挂载等关键步骤,为后续Ambari与大数据组件部署打下坚实基础。
233 0
|
存储 机器学习/深度学习 分布式计算
Hadoop学习笔记(HDP)-Part.12 安装HDFS
本系列为HDP大数据平台部署实战指南,涵盖HDFS、YARN、Hive等核心组件安装配置,详解Ambari集群搭建、Kerberos安全认证及高可用实现,助力快速构建企业级大数据环境。
646 0
|
分布式计算 Java Hadoop
Hadoop学习笔记(HDP)-Part.11 安装Kerberos
本文详细介绍HDP集群中Kerberos的安装与配置,涵盖服务端客户端部署、关键配置文件修改、数据库创建、Ambari集成及常用管理命令,助力构建安全认证的大数据环境。
585 0

相关实验场景

更多