Ambari搭建

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Ambari搭建和使用

Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

安装说明
安装ambari前先安装好 Centos 7并更新。要确保之前没有安装过Ambari,并且没有搭建过hadoop环境,均是新安装的系统,未做任何设置。
配置SSH免密登陆
不做详细介绍,运维必会技能
查看selinux状态,并关闭

vi /etc/sysconfig/selinux

SELINUX=disabled
制作本地源
由于GFW问题,需在本机**单独下载安装

关闭防火墙

yum install httpd
systemctl start httpd.service
systemctl enable httpd.service

安装制作本地源工具

yum install yum-utils createrepo

下载安装资源

hdp下载资源

在httpd网站根目录,默认是即/var/www/html/,创建目录repository(自定义名字,自己根据情况命名),并且将下载的压缩包解压到/var/www/html/ambari目录。

tar -zxvf ambari-2.6.1.0-centos7.tar.gz -C /var/www/html/repository/
tar -zxvf HDP-2.6.5.0-centos7-rpm.tar.gz -C /var/www/html/repository/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/repository/

配置ambari、HDP、HDP-UTILS的本地源

vi ambari.repo

[ambari-2.6.1.0]
name=ambari Version - ambari-2.6.1.0
baseurl=http://prod-pinpoint-01/repository/ambari/centos7/2.6.1.0-143/
gpgcheck=1
gpgkey=http://prod-pinpoint-01/repository/ambari/centos7/2.6.1.0-143//RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
vi hdp.repo

VERSION_NUMBER=2.6.5.0-292

[HDP-2.6.5.0]
name=HDP Version - HDP-2.6.5.0
baseurl=http://prod-pinpoint-01/repository/HDP/centos7/2.6.5.0-292/
gpgcheck=1
gpgkey=http://prod-pinpoint-01/repository/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://prod-pinpoint-01/repository/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=1
gpgkey=http://prod-pinpoint-01/repository/HDP-UTILS/centos7/1.1.0.22//RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

将上面的修改过的源放到/etc/yum.repos.d/下面

mv ambari.repo /etc/yum.repos.d/
mv hdp.repo /etc/yum.repos.d/

更新yum

yum clean all
yum list update
yum makecache
yum repolist

安装Mysql数据库

下载repo源

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

安装rmp包

rpm -ivh mysql57-community-release-el7-8.noarch.rpm --nodeps --force

安装Mysql

yum install mysql-server

启动Mysql

systemctl start mysqld

重置root密码

grep 'temporary password' /var/log/mysqld.log

修改root密码

mysql -u root -p
mysql> Enter password: (输入刚才查询到的随机密码)
mysql> SET PASSWORD FOR 'root'@'localhost'= "xxxxxx";
mysql> exit

开放3306

mysql>GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY 'xxxxx' WITH GRANT OPTION;
mysql>FLUSH PRIVILEGES;
mysql>exit;

创建ambari数据库及用户

create database ambari character set utf8 ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'xxxx';
GRANT ALL PRIVILEGES ON . TO 'ambari'@'%';
FLUSH PRIVILEGES;

安装mysql jdbc驱动

yum install mysql-connector-java

安装ambari

安装

yum install ambari-server

配置

ambari-server setup

提示是否自定义设置。输入:y

Customize user account for ambari-server daemon [y/n] (n)?

ambari-server 账号。输入:ambari,默认为root

Enter user account for ambari-server daemon (root):ambariAdjusting ambari-server permissions and ownership...

检查防火墙,如果关闭则不用操作。

Enter user account for ambari-server daemon (root):ambariAdjusting ambari-server permissions and ownership...

检查JDK

Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7

[3] Custom JDK

Enter choice (1):3

置JAVA_HOME

WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/java

配置数据库

``Configuring database...
Enter advanced database configuration [y/n] (n)? y``

选择数据库

Configuring database...

Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere

[7] - BDB

Enter choice (1): 3

设置数据库的具体配置信息,根据实际情况输入,如果和括号内相同,则可以直接回车。

Enter choice (1): 3
Hostname (localhost):
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):
Re-enter password:
Configuring ambari database...

设置数据库连接属性,完成配置。

Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
....ambari-admin-2.6.2.0.155.jar
.......
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
 
 
# 将Ambari数据库脚本导入到数据库
mysql> use ambari;
Database changed
mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

启动ambari

ambari-server start

配置nginx转发到ambari的服务器上,暴露服务

出现登录界面,默认管理员账户登录, 账户:admin 密码:admin,登陆并修改密码

登录成功后出现下面的界面,至此Ambari的安装成功

点击上面登录成功页面的Launch Install Wizard 按钮进行集群配置

点击Add Version添加自己下载的HDP版本

弹出的窗口中指定之前配置的HDP源中HDP版本文件,然后点击Read Version Info按钮,确定版本信息

因为HDP安装包非常大,不建议采用Public Repository,本次安装采用Local Repository,前边已经配置完成,此处只需指定为前边所配置的本地源地址即可,如下图所示。

设置集群信息,并配置ambari-server ssh私钥信息(前提是已经完成集群机器ssh的配置)

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
Hadoop
使用ambari快速部署Hadoop集群
Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。我们可以通过 Ambari Server 通知 Ambari Agent 安装对应的软件;甚至连Ambari Agent我们都可以在Web界面上来进行安装和部署。
3369 0
使用ambari快速部署Hadoop集群
|
关系型数据库 MySQL Java
安装Ambari和HDP
安装Ambari和HDP
287 1
|
数据安全/隐私保护
Ambari 2.7.3.0安装新组件
Ambari 2.7.3.0安装新组件和之前版本略有不同,本文将简述安装新组件的简单过程。 前提是大家已经安装好Ambari 2.7.3.0 这时候由于有一些组件没有添加,就需要安装新的组件。
342 0
Ambari 2.7.3.0安装新组件
|
消息中间件 存储 Kafka
Ambari部署Atlas
Ambari部署Atlas
448 0
Ambari部署Atlas
|
流计算
Ambari部署Storm
Ambari部署Storm
136 0
Ambari部署Storm
Ambari部署Solr
Ambari部署Solr
140 0
Ambari部署Solr
|
SQL 分布式计算 安全
Ambari和ClouderaManager对比
  好程序员大数据培训分享之Ambari和ClouderaManager对比,1 、什么是CDH,Ambari?   Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。
3635 0
Ambari和ClouderaManager对比
|
监控 大数据 Apache