安装Ambari和HDP

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 安装Ambari和HDP

最新的CDH已经没有了社区版,也就是说以后使用新版本的Cloudera Manager和CDH都是要收费的,这对于很多小公司来说,可能无法承受。转向Ambari是他们的一个可选项。Ambari是Apache的一个顶级开源项目,开源是其最大的优势,开源也意味着Ambari可以灵活地进行扩展,集成更多的数据组件,对于需要定制化和二次开发的企业来说,Ambari也极具吸引力。

1、安装包准备

链接如下:

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari-2.6.1.5-centos7.tar.gz
https://download.csdn.net/download/ljk168/10351315
http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.4.0/HDP-GPL-2.6.4.0-centos7-rpm.tar.gz
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/HDP-2.6.4.0-centos7-rpm.tar.gz

2、主机准备。

本次Ambari环境基于三台2核8G的EC2服务器,操作系统为Centos7.6,三台主机如下

和安装Cloudera Manager、CDH类似,首先需要修改三台主机的网络设置、禁用SElinux、修改主机名、关闭防火墙、ssh免密、开启http服务、设置时钟同步、安装JDK,在此不作详细介绍,具体可以参考之前安装CDH7.1.1的文章。

由于AWS中国的EC2服务器没有开放80和8080端口,我们将Http服务的端口改为了8085,Ambari Web服务的端口改成了8086端口。

3、安装MariaDB,创建数据库

安装并启动

yum -y install mariadb-server
systemctl start mariadb.service
systemctl enable mariadb.service


设置密码123456,一路回车


mysql_secure_installation

配置数据库

登录MySQL


mysql -u root -p123456

创建所需数据库

# 创建ambari数据库
create database ambari;
CREATE USER 'ambari'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
# 创建Hive数据库
create database hive;
CREATE USER 'hive'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;
# 创建Oozie数据库
create database oozie;
CREATE USER 'oozie'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

将Mysql驱动放置在 /usr/share/java目录

4、上传安装包,创建本地yum源,开始安装ambari

将ambari、HDP 、HDP-GPL 、HDP-UTILS包解压至 /var/www/html目录下

将各个目录最底层的repo文件移动至 /etc/yum.repo/下,并修改为

ambari.repo

[ambari-2.6.1.5]
name=ambari Version - ambari-2.6.1.5
baseurl=http://52.83.64.220:8085/ambari/centos7/2.6.1.5-3
gpgcheck=1
gpgkey=http://52.83.64.220:8085/ambari/centos7/2.6.1.5-3/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hdp.repo

[HDP-2.6-repo-1]
name=HDP-2.6-repo-1
baseurl=http://52.83.64.220:8085/HDP/centos7/2.6.4.0-91
gpgcheck=1
gpgkey=http://52.83.64.220:8085/HDP/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
priority=1
enabled=1
[HDP-UTILS-1.1.0.22-repo-1]
name=HDP-UTILS-1.1.0.22-repo-1
baseurl=http://52.83.64.220:8085/HDP-UTILS/centos7/1.1.0.22
gpgcheck=1
gpgkey=http://52.83.64.220:8085/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
priority=1
enabled=1
[HDP-HDP-GPL-repo-1]
name=HDP-GPL
baseurl=http://52.83.64.220:8085/HDP-GPL/centos7/2.6.4.0-91
gpgcheck=1
gpgkey=http://52.83.64.220:8085/HDP-GPL/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
priority=1
enabled=1


开始安装ambari-server

# 安装
yum install -y ambari-server
# 配置
ambari-server setup


大都是常规的配置,其中提示输入 JAVA_HOMEambari元数据库的登录密码,需要输入之前设置的路径和密码

登录ambari数据库,对数据库进行初始化

mysql -uroot -p123456
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
show tables;


完成数据库的初始化后,启动


ambari-server start

5、登录Ambari Web页面,配置HDP

admin/admin登录ambari界面ambari1.soundhearer.com:8086


create a cluster

select a version

confirm host    

此处可能会出现类似以下错误

NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)
NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

需要修改 ambari-agent 的配置文件


# 文件位置
 vim /etc/ambari-agent/conf/ambari-agent.ini
[security]中增加一项
 force_https_protocol=PROTOCOL_TLSv1_2

choose services

assign master

assign slaves and clients

customize services

review

Install, Start and Test

Summary

至此安装Ambari和HDP结束。



相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
7月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.08 部署Ambari集群
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
259 0
Hadoop学习笔记(HDP)-Part.08 部署Ambari集群
|
SQL 关系型数据库 网络安全
ambari 安装及注意事项
ambari从无到有安装
142 0
|
SQL Java 关系型数据库
HDP 01.Ambari安装和配置
HDP 01.Ambari安装和配置
496 0
HDP 01.Ambari安装和配置
|
关系型数据库 Java 大数据
CentOS7下利用Ambari搭建HDP大数据平台(下)
CentOS7下利用Ambari搭建HDP大数据平台(下)
417 0
CentOS7下利用Ambari搭建HDP大数据平台(下)
|
域名解析 SQL 分布式计算
CentOS7下利用Ambari搭建HDP大数据平台(上)
CentOS7下利用Ambari搭建HDP大数据平台(上)
553 0
CentOS7下利用Ambari搭建HDP大数据平台(上)
|
SQL 分布式数据库 HIVE
ambari发布新服务(HDP自带的服务)流程简介
ambari发布新服务(HDP自带的服务)流程简介
155 0
ambari发布新服务(HDP自带的服务)流程简介
|
分布式计算 安全 大数据
ambari安装HDFS组件(一)
ambari安装HDFS组件(一)
295 0
ambari安装HDFS组件(一)
|
SQL 分布式计算 关系型数据库
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
544 0
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
|
数据安全/隐私保护
Ambari 2.7.3.0安装新组件
Ambari 2.7.3.0安装新组件和之前版本略有不同,本文将简述安装新组件的简单过程。 前提是大家已经安装好Ambari 2.7.3.0 这时候由于有一些组件没有添加,就需要安装新的组件。
340 0
Ambari 2.7.3.0安装新组件
安装 OushuDB Ambari 插件
我们假设用户已经安装了HDP Ambari,并且已经安装了HDFS和Zookeeper。安装步骤可以参考: ● https://docs.hortonworks.com/HDPDocuments/Ambari/Ambari-2.4.2.0/index.html ● https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.3/index.html
165 0
安装 OushuDB Ambari 插件