目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume
三、资源规划
1.资源配置
| 主机名 | FQDN | IP | 服务器配置 |
|---|---|---|---|
| hdp01 | hdp01.hdp.com | 192.168.111.201/24 | 8c、8G、200GB+50GB |
| hdp02 | hdp02.hdp.com | 192.168.111.202/24 | 8c、8G、200GB+50GB |
| hdp03 | hdp03.hdp.com | 192.168.111.203/24 | 8c、8G、200GB+3*100GB |
| hdp04 | hdp04.hdp.com | 192.168.111.204/24 | 8c、8G、200GB+3*100GB |
| hdp05 | hdp05.hdp.com | 192.168.111.205/24 | 8c、8G、200GB+3*100GB |
2.磁盘规划
| 主机 | 磁盘分布 |
|---|---|
| hdp01 hdp02 |
/dev/sda：系统盘 /dev/sdb：/data01，MySQL、zookeeper、NameNode、JournalNode |
| hdp03 | /dev/sda：系统盘 /dev/sdb：/data01，zookeeper、DataNode、JournalNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode |
| hdp04 hdp05 |
/dev/sda：系统盘 /dev/sdb：/data01，DataNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode |
3.组件规划
组件
版本
hdp01
hdp02
hdp03
hdp04
hdp05
ansible
2.9.27
★
MySQL
5.7.25
★
★
Ambari-metrics
Metrics Collector
0.2.0
★
Metrics Monitor
★
★
★
★
★
Grafana
★
ZooKeeper
ZooKeeper Server
3.4.6
★
★
★
ZooKeeper Client
★
★
HDFS
NameNode
3.1.1.3.1
★
★
DataNode
★
★
★
JournalNode
★
★
★
zkfc
★
★
YARN
ResourceManager
3.1.1
★
★
NodeManager
★
★
★
HistoryServer
★
TimelineService
★
Timeline Service Reader
★
Registry DNS
★
OpenLDAP
openldap-server
2.4.44
★
★
openldap-client
★
★
★
★
★
migrationtools
★
★
phpldapadmin
★
★
keepalived
v1.3.5
★
★
HaProxy
1.5.18
★
★
kerberos
Krb5-server
1.15.1
★
★
krb5-workstation
★
★
★
★
★
Ranger
Ranger Admin
1.2.0.3.1
★
★
UserSync
★
Hive
HiveServer2
3.1.0
★
★
MetaStore
★
★
Tez
0.9.1
★
★
★
★
★
HBase
HMaster
2.0.2
★
★
RegionServer
★
★
★
Spark
Spark2 History Server
2.3.0
★
Flink
client
1.9.3
★
★
★
★
★
Kafka
broker
2.0.0
★
★
★
kafka manager
2.0.0.2
★
Flume
flume
1.9.0
★
★
★
