CentOS7 搭建Ambari-Server,安装Hadoop集群(一)-阿里云开发者社区

开发者社区> 海上测试猿> 正文

CentOS7 搭建Ambari-Server,安装Hadoop集群(一)

简介: 2017-07-05:修正几处拼写错误,之前没发现,抱歉! 第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵。 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术;给我的学习内容是通过Ambari安装Hadoop集群。
+关注继续查看

2017-07-05:修正几处拼写错误,之前没发现,抱歉!

第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵。

编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术;给我的学习内容是通过Ambari安装Hadoop集群。通过一周左右的学习和实践,整理出现在这篇安装心得。第一篇,重点放在Ambari-Server的搭建安装上。

安装默认使用Root用户,避免权限问题导致不成功。

使用4台虚拟机构建Ambari-Server、Hadoop集群,分配如下:

-       一台虚拟机,作为Ambari-Server:

Hostname: ambari.server

-       三台虚拟机,作为Hadoop集群:

Hostname01: hadoop.namenode
Hostname02: hadoop.datanode1
Hostname03: hadoop.datanode2

1. 安装前的系统设定

a) 修改机器名、Hosts文件

查看当前的Hostname:

# hostname

  修改Hostname:(以ambari.server为例)

# hostnamectl set-hostname ambari.server

   修改每一台机器上的/etc/hosts文件:

# vim /etc/hosts
192.168.141.159     ambari.server
192.168.141.160     hadoop.namenode
192.168.141.161     hadoop.datanode1
192.168.141.162     hadoop.datanode2

  修改完以后,重启每一台机器。

  b) 设置ntpd自动启动,所有机器

  没有安装ntpd的机器,用yum命令安装一下:

# yum install -y ntp

  设置服务开机启动:

# systemctl enable ntpd

  启动服务:

# systemctl start ntpd

  c) 设置时间同步,所有机器

# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# ntpdate us.pool.ntp.org

  d) 关闭Selinux,所有机器

  修改配置:

# vim /etc/sysconfig/selinux
selinux=disalbed

  e) 关闭防火墙

# systemctl stop firewalld
# systemctl disable firewalld

  f) 制作集群的SSH免密码登录

在ambari.server上创建密钥:

# ssh-keygen -t rsa

一路Enter到密钥生成

进入~/.ssh目录,查看密钥文件:

私钥:id_rsa
公钥:id_rsa.pub

   切换到hadoop.namenode等机器上,创建~/.ssh目录

# mkdir ~/.ssh 

从ambari.server上,发送公钥给目标服务器:

# scp ~/.ssh/id_rsa.pub hadoop.namenode:/root/.ssh/authorized_keys_from_ambari
# scp ~/.ssh/id_rsa.pub hadoop.datanode1:/root/.ssh/authorized_keys_from_ambari
# scp ~/.ssh/id_rsa.pub hadoop.datanode2:/root/.ssh/authorized_keys_from_ambari

在被登录的服务器上,合并公钥:

# cd ~/.ssh
# cat authorized_keys_from_ambari >> authorized_keys

对所有服务器上的.ssh目录和文件授权:

# chmod 700 ~/.ssh
# chmod 600 ~/.ssh/*

在ambari.server上验证SHH可以免密码登录目标服务器:

# ssh hadoop.namenode

如果无需输入密码,且用hostname命令查看到正确的主机名,则表示配置免密码登录成功;

如果仍需要输入密码,则不成功;如果不成功,先尝试权限修改;如果仍不成功,则要删除密钥再做一次。

2. 安装JDK1.8

下载JDK 1.8.0.tar.gz文件,解压:

# wget -c http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
# mkdir /usr/local/jdk
# tar -xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/jdk/

配置环境变量,添加以下内容:

# vim /etc/profile

#java
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

执行以下语句,使环境变量立刻生效:

# source /etc/profile

验证Java安装成功:

# java -version

java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

 

3. 安装MySQL

Ambari安装会将安装等信息写入数据库,建议使用自己安装的MySQL数据库,也可以不安装而使用默认数据库PostgreSQL。

Mysql数据库安装过程如下:

下载mysql的repo源(CentOS 7.2的yum源中默认没有mysql,要先下载mysql的repo源):

# wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

   安装mysql57-community-release-el7-8.noarch.rpm包:

# rpm -ivh mysql57-community-release-el7-8.noarch.rpm  --nodeps --force

安装这个包后,会获得两个mysql的yum repo源:

# cd /etc/yum.repos.d
# ls -l

确认存在下列两个repo源文件:

安装mysql:

# yum install -y mysql-server

启动mysql服务,查看MySQL服务是否已启动:

# systemctl start mysqld
# service mysqld status

重置root密码:

MySQL5.7会在安装后为root用户生成一个随机密码,而不是像以往版本的空密码。 可以安全模式修改root登录密码或者用随机密码登录修改密码。

下面用随机密码方式:

MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到:

# grep 'temporary password' /var/log/mysqld.log
# mysql -u root -p
mysql> Enter password: (输入刚才查询到的随机密码)

修改root用户密码:(MySQL的密码策略比较复杂,过于简单的密码会被拒绝)。首先修改安全策略,避免过于简单的密码被拒绝:

mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;

重置用户密码:

mysql> alter user 'root'@'localhost' identified by 'root-1234';

完成后,保存退出:

mysql> flush privileges;
mysql> quit;

使用刚刚设置的新密码登录:

# mysql -u root -p

mysql> use mysql;
如果进行操作出现下面的提示:
You must reset your password using ALTER USER statement before executing this statement.

就再设置一遍密码:
mysql> set password = password('root-1234');

开放3306端口

允许使用用户名root密码root-1234从任何主机连接到mysql服务器。

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY ' root-1234' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;

安装mysql jdbc 驱动:

# yum install -y mysql-connector-java

 

4. 创建必要的数据库和数据库用户

安装完成后创建ambari数据库及用户,登录root用户执行下面语句:

mysql> create database ambari character set utf8;
mysql> CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari-1234';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
mysql> FLUSH PRIVILEGES;

如果要安装Hive,再创建Hive数据库和用户 再执行下面的语句:

mysql> create database hive character set utf8;
mysql> CREATE USER 'hive'@'%' IDENTIFIED BY 'hive-1234';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
mysql> FLUSH PRIVILEGES;

如果要安装Oozie,再创建Oozie数据库和用户 再执行下面的语句:

mysql> create database oozie character set utf8;
mysql> CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie-1234';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
mysql> FLUSH PRIVILEGES; 

 

5. 下载Ambari的资源

下载HortWorks官网上的3个库到本地(也可以在线下载,但是速度会很慢)。

我们先把hortworks官网上需要下载的3个库下载到本地(这个还是需要很长时间的,当然你也可以在线下载,通过wget但是由于文件比较大,所以下载会非常慢)然后把他上传到我们的镜像服务器上。

最新版本链接:http://docs.hortonworks.com/HDPDocuments/Ambari-2.5.0.3/bk_ambari-installation/content/download_the_ambari_repo_lnx7.html   

文档编写时采用的是Ambari 2.2.1.0,但安装方法是一致的。

Ambari Repositories:

http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.0/bk_Installing_HDP_AMB/content/_ambari_repositories.html

OS

Format

URL

RedHat 6

CentOS 6

Oracle Linux 6

Base URL

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0

Repo File

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari.repo

Tarball md5 | asc

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos6.tar.gz

RedHat 7

CentOS 7

Oracle Linux 7

Base URL

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0

Repo File

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0/ambari.repo

Tarball md5 | asc

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos7.tar.gz

  两个是 HDP 2.4 Repositories:

OS

Version Number

Repository Name

Format

URL

RedHat 6

CentOS 6

Oracle Linux 6

HDP-2.4.0.0

HDP

Base URL

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0

Repo File

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/hdp.repo

Tarballmd5 | asc

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos6-rpm.tar.gz

HDP-UTILS

Base URL

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6

Tarball md5 | asc

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz

RedHat 7

CentOS 7

Oracle Linux 7

HDP-2.4.0.0

HDP

Base URL

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0

Repo File

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/hdp.repo

Tarball md5 | asc

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz

HDP-UTILS

Base URL

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7

Tarball md5 | asc

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

    尝试新版本的话,请通过最新版链接中的找到最新版安装包。

   (Latest)Ambari 2.5.0 Repositories

OS

Format

URL

RedHat 6

CentOS 6

Oracle Linux 6

Base URL

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3

Repo File

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo

Tarball md5 | asc

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos6.tar.gz

RedHat 7

CentOS 7

Oracle Linux 7

Base URL

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3

Repo File

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari.repo

Tarball md5 | asc

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos7.tar.gz

  (Latest)两个是 HDP 2.6 Repositories:

OS

Version Number

Repository Name

Format

URL

RedHat 6

CentOS 6

Oracle Linux 6

HDP-2.6.0.3

HDP

Base URL

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3

Repo File

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/hdp.repo

Tarballmd5 | asc

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/HDP-2.6.0.3-centos6-rpm.tar.gz

HDP-UTILS

Base URL

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6

Tarball md5 | asc

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz

RedHat 7

CentOS 7

Oracle Linux 7

HDP-2.4.0.0

HDP

Base URL

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3

Repo File

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/hdp.repo

Tarball md5 | asc

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/HDP-2.6.0.3-centos7-rpm.tar.gz

HDP-UTILS

Base URL

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7

Tarball md5 | asc

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

  

6. 配置本地下载站

在ambari.server上配置httpd服务:

# yum install -y httpd

把下载到的3个资源文件,上传到ambari.server,并解压到制定目录:

# mkdir /var/www/html/ambari-hdp
# mkdir /var/www/html/ambari-hdp/HDP-UTILS

# tar -xvf ambari-2.2.1.0-centos7.tar.gz -C /var/www/html/ambari-hdp/ # tar -xvf HDP-2.4.0.0-centos7-rpm.tar.gz -C /var/www/html/ambari-hdp/ # tar -xvf HDP-UTILS-1.1.0.20-centos7.tar.gz -C /var/www/html/ambari-hdp/HDP-UTILS

启动httpd服务:

# systemctl start httpd

通过浏览器访问本地资源地址,如果能看到以下页面,则表示配置成功:

 

7. 配置Yum本地Repos资源池

在ambari.server上执行:

# yum install -y yum-plugin-priorities

a) 修改Yum安装源的校验

# vi /etc/yum/pluginconf.d/priorities.conf

#设置为以下内容

[main]
enabled=1
gpgcheck=0

b) 制作本地资源文件

创建Ambari、HDP、HDP-UTIL资源文件:

- ambari.repo:

[ambari-2.2.1.0]
name=ambari-2.2.1.0
baseurl=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161
gpgcheck=0
gpgkey=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

- hdp.repo

[HDP-2.4.0.0]
name=Hortonworks Data Platform Version - HDP-2.4.0.0
baseurl=http://192.168.141.159/ambari-hdp/HDP/centos7/2.x/updates/2.4.0.0
gpgcheck=0
gpgkey=http://192.168.141.159/ambari-hdp/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

- hdp-util.repo

[HDP-UTILS-1.1.0.20]
name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.20
baseurl= http://192.168.141.159/ambari-hdp/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=0
enabled=1
priority=1

制作完成后,移动到/etc/yum.repos.d/;依次执行以下命令,更新本地资源池:

# yum clean list

# yum update list

# yum makecache

等待更新完毕后,查看资源池:

# yum repolist

如果看到以下资源,表示配置成功:

 

8. 安装Ambari-Server

执行安装命令:

# yum install -y ambari-server

安装过程无需互动

如果提示找不到KEY,则执行如下命令:

rpm --import /var/www/html/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

      将Ambari数据库脚本导入到数据库。

Ambari安装会将安装等信息写入数据库,建议使用自己安装的MySQL数据库,也可以不安装而使用默认数据库PostgreSQL。如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambari的sql脚本。

用root用户登录mysql

# mysql -uroot -p

mysql> use ambari;
mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

 

9. 配置Ambari-Server

执行配置命令:

# ambari-server setup

提示是否自定义设置?输入:y

Customize user account for ambari-server daemon [y/n] (n)? y

ambari-server 账号。输入:root。

Enter user account for ambari-server daemon (root): root

Adjusting ambari-server permissions and ownership...

检查防火墙,如果关闭则不用操作。

Checking firewall status...

Redirecting to /bin/systemctl status iptables.service

设置JDK。输入:3。

Checking JDK...Do you want to change Oracle JDK [y/n] (n)? y

[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK

==========================================

Enter choice (1): 3

如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入:

/usr/local/jdk/jdk1.8.0_131

WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos, please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/local/jdk/jdk1.8.0_131

Validating JDK on Ambari Server...done.
Completing setup...

数据库配置。选择:y。

Configuring database...Enter advanced database configuration [y/n] (n)? y

选择数据库类型。输入:3。

Configuring database...
========================================

Choose one of the following options:

[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere

==========================================

Enter choice (1): 3

设置数据库的具体配置信息,根据实际情况输入,如果和括号内相同,则可以直接回车。

Hostname (localhost): ambari.server
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (ambari-1234):

提示必须安装MySQL JDBC,已安装则直接通过。

WARNING: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java.

Press <enter> to continue.

启动ambari-server服务

# ambari-server start

启动后在浏览器输入Ambari地址:

http://192.168.141.159:8080/#/login

看到如下页面,则表示安装成功:

  

进入Ambari配置管理页面:

用户名:admin

密码:   admin

登录成功进入以下页面: 

 

10. 安装Hadoop集群

a) 在集群节点上安装JDK

在3台作为Hadoop集群的机器上安装JDK,要与ambari.server上安装的完全一致

 

b) 安装ambari-agent

将ambari.server上的3个.repo文件复制到hadoop集群的三台服务器上;并完成yum源更新的命令。

   安装ambari-agent:在集群的3台电脑上执行添加,并添加成开机自启动服务:  

# yum install -y ambari-agent
# chkconfig --add ambari-agent

c) 通过安装向导,配置Hadoop集群

 

 

参考文档:

http://www.cnblogs.com/boyzgw/p/6525313.html

http://www.cnblogs.com/zlslch/p/6629235.html

https://yq.aliyun.com/articles/60217

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Centos7下Docker搭建Jumpserver堡垒机
Centos7下Docker搭建Jumpserver堡垒机
839 0
阿里云ECS CentOs7.3下搭建LAMP环境(Apache2.4 + Mysql5.7 + PHP5.6 + Laravel5.2)
硬件是阿里云服务器ECS,安装阿里云提供的系统Linux CentOs7.3。LAMP环境搭建,再安装Laravel5.2框架。 硬件没什么好说的,不是很懂,买就是了。 至于系统为什么选择CentOs? 因为CentOs是公认的,个人服务器最合适的系统。
3428 0
CentOS7安装Hadoop集群
http://www.jianshu.com/p/a69972d8a119 安装Hadoop之前,请先安装好zookeeper集群并启动 参考 CentOS7安装Zookeeper集群 我这里准备了三台服务器,一台主机名为hadoop1(做NameNo...
1137 0
Linux系统:centos7下搭建ZooKeeper3.4中间件,常用命令总结
本文源码:GitHub·点这里 || GitEE·点这里 一、下载解压 1、Zookeeper简介 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。
1036 0
intellij idea搭建ssh开发框架之绑定数据源
原文: intellij idea搭建ssh开发框架之绑定数据源 在intellij idea中绑定数据源并生成hibernate实体对象。
1259 0
手把手教你在CentOS上搭建Kubernetes集群
作者:ChamPly安装CentOS 1.安装net-tools[root@localhost ~]# yum install -y net-tools2.关闭firewalld[root@localhost ~]# systemctl stop firewalld && systemctl di...
1219 0
阿里云centos7.2 搭建 laravel 框架走过的坑
阿里云centos7.2 搭建 laravel 框架走过的坑  前言 公司正在处于发展阶段最近开发的伙伴和运维的伙伴一直在忙碌着 开发人员一直在写laravel架构的代码以及新项目的拓展,时间很赶所以作为linux运维的我也不能怠慢。
1530 0
centos下利用docker搭建hbase集群过程记录
安装docker #查看你当前的内核版本(Docker 要求 CentOS 系统的内核版本高于 3.10 ) uname -r #安装 Docker yum -y install docker #启动 Docker 后台服务 service docker start #测试运行 hello-world,由于本地没有hello-world这个镜像,所以会下载一个hello-world的镜像,并在容器内运行。
1777 0
+关注
海上测试猿
本人在公司测试部门充当负责角色,统筹核心业务系的全链路性能测试; 根据项目需要,开发自动化测试框架、自动化测试脚本、维护测试平台,进行自动化测试,提升测试效率; 探索学习测试相关新技术、开源工具,提高自动化测试的效率和质量,满足需求; 定期开展技术分享活动,提高团队员的能力。
13
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载