一、软件要求
● Hadoop: 2.7+, 3.1+ (since v2.5)
● Hive: 0.13 - 1.2.1+
● HBase: 1.1+, 2.0 (since v2.5)
● Spark (可选) 2.3.0+
● Kafka (可选) 1.0.0+ (since v2.5)
● JDK: 1.8+ (since v2.5)
● OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
● 已部署ambari+HDP
二、代码下载
VERSION=hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'
sudo wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz /opt
对hadoop代码解压
tar -xf /opt/hadoop-3.3.1.tar.gz
配置hadoop部分可参考：
https://yuque.antfin.com/docs/share/d0eb3346-3951-4d4c-8dcd-335b858a8b21?#
三、部署apache hadoop
在/var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/ 目录下，创建AHADOOP目录，作为apache_hadoop的服务目录。
cd /var/lib/ambari-agent/cache/stacks/HDP/3.1/services
mkdir AHADOOP
cp -r /var/lib/ambari-agent/cache/stacks/HDP/3.1/services/HDFS/* /var/lib/ambari-agent/cache/stacks/HDP/3.1/services/AHADOOP
查看AHADOOP目录结构：
AHADOOP/
├── alerts.json
├── configuration
│ ├── core-site.xml
│ ├── hadoop-env.xml
│ ├── hadoop-metrics2.properties.xml
│ ├── hadoop-policy.xml
│ ├── hdfs-log4j.xml
│ ├── hdfs-site.xml
│ ├── ranger-hdfs-audit.xml
│ ├── ranger-hdfs-plugin-properties.xml
│ ├── ranger-hdfs-policymgr-ssl.xml
│ ├── ranger-hdfs-security.xml
│ ├── ssl-client.xml
│ ├── ssl-server.xml
│ └── viewfs-mount-table.xml
├── kerberos.json
├── metainfo.xml
├── metrics.json
├── package
│ ├── alerts
│ │ ├── alert_checkpoint_time.py
│ │ ├── alert_checkpoint_time.pyo
│ │ ├── alert_datanode_unmounted_data_dir.py
│ │ ├── alert_datanode_unmounted_data_dir.pyo
│ │ ├── alert_ha_namenode_health.py
│ │ ├── alert_ha_namenode_health.pyo
│ │ ├── alert_metrics_deviation.py
│ │ ├── alert_metrics_deviation.pyo
│ │ ├── alert_upgrade_finalized.py
│ │ └── alert_upgrade_finalized.pyo
│ ├── files
│ │ ├── checkWebUI.py
│ │ └── checkWebUI.pyo
│ ├── scripts
│ │ ├── balancer-emulator
│ │ │ ├── balancer-err.log
│ │ │ ├── balancer.log
│ │ │ ├── hdfs-command.py
│ │ │ └── hdfs-command.pyo
│ │ ├── datanode.py
│ │ ├── datanode.pyo
│ │ ├── datanode_upgrade.py
│ │ ├── datanode_upgrade.pyo
│ │ ├── hdfs_client.py
│ │ ├── hdfs_client.pyo
│ │ ├── hdfs_datanode.py
│ │ ├── hdfs_datanode.pyo
│ │ ├── hdfs_namenode.py
│ │ ├── hdfs_namenode.pyc
│ │ ├── hdfs_namenode.pyo
│ │ ├── hdfs_nfsgateway.py
│ │ ├── hdfs_nfsgateway.pyo
│ │ ├── hdfs.py
│ │ ├── hdfs.pyc
│ │ ├── hdfs.pyo
│ │ ├── hdfs_rebalance.py
│ │ ├── hdfs_rebalance.pyc
│ │ ├── hdfs_rebalance.pyo
│ │ ├── hdfs_snamenode.py
│ │ ├── hdfs_snamenode.pyo
│ │ ├── __init__.py
│ │ ├── __init__.pyo
│ │ ├── install_params.py
│ │ ├── install_params.pyo
│ │ ├── journalnode.py
│ │ ├── journalnode.pyo
│ │ ├── journalnode_upgrade.py
│ │ ├── journalnode_upgrade.pyo
│ │ ├── master.py
│ │ ├── namenode_ha_state.py
│ │ ├── namenode_ha_state.pyc
│ │ ├── namenode_ha_state.pyo
│ │ ├── namenode.py
│ │ ├── namenode.pyo
│ │ ├── namenode_upgrade.py
│ │ ├── namenode_upgrade.pyc
│ │ ├── namenode_upgrade.pyo
│ │ ├── nfsgateway.py
│ │ ├── nfsgateway.pyo
│ │ ├── params_linux.py
│ │ ├── params_linux.pyc
│ │ ├── params_linux.pyo
│ │ ├── params.py
│ │ ├── params.pyc
│ │ ├── params.pyo
│ │ ├── params_windows.py
│ │ ├── params_windows.pyo
│ │ ├── service_check.py
│ │ ├── service_check.pyo
│ │ ├── setup_ranger_hdfs.py
│ │ ├── setup_ranger_hdfs.pyc
│ │ ├── setup_ranger_hdfs.pyo
│ │ ├── snamenode.py
│ │ ├── snamenode.pyo
│ │ ├── status_params.py
│ │ ├── status_params.pyc
│ │ ├── status_params.pyo
│ │ ├── utils.py
│ │ ├── utils.pyc
│ │ ├── utils.pyo
│ │ ├── zkfc_slave.py
│ │ ├── zkfc_slave.pyc
│ │ └── zkfc_slave.pyo
│ └── templates
│ ├── exclude_hosts_list.j2
│ ├── hdfs.conf.j2
│ ├── hdfs_dn_jaas.conf.j2
│ ├── hdfs_jaas.conf.j2
│ ├── hdfs_jn_jaas.conf.j2
│ ├── hdfs_nn_jaas.conf.j2
│ ├── include_hosts_list.j2
│ ├── input.config-hdfs.json.j2
│ └── slaves.j2
├── quicklinks
│ └── quicklinks.json
├── service_advisor.py
├── service_advisor.pyc
├── service_advisor.pyo
├── themes
│ ├── directories.json
│ └── theme.json
└── widgets.json
修改master.py文件
!/usr/bin/env python
coding=
from resource_management import *
class Master(Script):
def install(self, env):
print 'Install the hadoop Master'
def stop(self, env):
Execute('/opt/hadoop-3.2.1/sbin/stop-dfs.sh && /opt/hadoop-3.2.1/sbin/stop-yarn.sh')
print 'Stop the hadoop Master'
def start(self, env):
Execute('/opt/hadoop-3.2.1/sbin/start-dfs.sh && /opt/hadoop-3.2.1/sbin/start-yarn.sh')
def status(self, env):
check_process_status("/opt/hadoop-3.2.1/etc/hadoop/pids/hadoop-hdfs-namenode.pid")
def configure(self, env):
print 'Configure the apacheHadoop';
if name == "__main__":
Master().execute()重启ambari-server服务
ambari-server restart
重启完成之后，即可以在ambari前端页面service添加服务菜单中看到apache_hadoop
按照菜单提示进行安装部署apache_hadoop
