Ubuntu14.04下Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

2017-11-13 3842

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

RDS MySQL Serverless 基础系列，0.5-2RCU 50GB

云数据库 RDS MySQL，集群系列 2核4GB

云数据库 RDS PostgreSQL，集群系列 2核4GB

简介：

写在前面的话

　　（1）最近一段时间，因担任我团队实验室的大数据环境集群真实物理机器工作，至此，本人秉持负责、认真和细心的态度，先分别在虚拟机上模拟搭建ambari（基于CentOS6.5版本）和cloudermanager（基于CentOS6.5或Ubuntu14.04版本）。

　　（2）大数据集群范围包括3节点和4节点。本人都尝试过。

　　（3）安装搭建包括离线和在线。本人都尝试过

　　（4）版本包括自定义指定和官方最新版本搭建。本人都尝试过。

　　（5）大数据集群节点的增加和删减。本人都尝试过。

　　（6）虚拟机和真实物理机上搭建。本人都尝试过。

关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得（图文详解）

　　我的机器情况是

　　nssa-sensor1 (192.168.30.1）　　　　　　（既做ambari-server，也做ambari-agent）

　　nssa-sensor2 (192.168.30.2）　　　　　　（只做ambari-agent）

　　nssa-sensor3 (192.168.30.3）　　　　　　（只做ambari-agent）

　　nssa-sensor4 (192.168.30.4）　　　　　　（只做ambari-agent）

　　我这里是，参考

CentOS6.5下Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

第一步：关于Ubuntu14.04下安装Ambari的准备

　　这里，与CentOS6.5下相同，我这里不多说

Ambari安装之Ambari安装前准备(CentOS6.5）（一）

　　大家，自行去安装，凡是能来看我这篇博客的朋友，想必肯定是有一定的基础了。

第二步：关于ubuntu14.04下部署本地库，镜像服务器

　　　这里，大家可以参考如下。

Ambari安装之部署本地库（镜像服务器）（二）

　　我这里，考虑到ubuntu14.04，所以

　　进行，下载好

　　得到

　　参考官网

https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.0/bk_Installing_HDP_AMB/content/_getting_started_setting_up_a_local_repository.html

　　以及，这第二步里，要注意的是，

　　centos系统里，是

sudo yum install yum-utils createrepo

　　ubuntu系统里，是

sudo apt-get  install yum-utils createrepo

　　centos系统里，是

sudo yum install httpd

　　ubuntu系统里，是

sudo apt-get install httpd

　　然后，
部署，跟上述博客一样，放在/var/www/html下。我这里不多赘述。

　　　　　　或者放在//usr/local/apache/htdocs下，都是可以的。

　　参考我下面的博客，

Ubuntu14.04下编译安装或apt-get方式安装搭建Apache或Httpd服务（图文详解）

　　总结：就是，这里我们自定义构建局域网源，一种是放在/var/www/html下，一种是放在/usr/local/apache/htdocs下。都是可以的

　　最后，我将截图如下

　　/usr/loca/apache/htdocs

　　/var/www/html

　　然后，大家，可以将官方的，改成自己本地局域创建的本地源。用来安装ambari。

sudo wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list

　　这是官网的。里面的内容如下

#VERSION_NUMBER=2.2.1.0-161
deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main

　　我们要改成自己的。

#VERSION_NUMBER=2.2.1.0-161
deb http://192.168.30.1/hdp2.4/ubuntu14

　　或者

#VERSION_NUMBER=2.2.1.0-161
deb http://192.168.30.1/hdp2.4/ubuntu14　　Ambari main

　　贴图如下

　　即，是如下。说明自定义局域网搭建的本地源，成功！

　　这里是，官网

　　我这里，是采取离线方式的安装，即先下载好，再来安装。

　　若大家，想在线安装的话，自行结合官网，然后和这篇博客来吧

ubuntu14.04安装ambari

　　在ubuntu14.04上使用ambari搭建hadoop集群

第三步：Ubuntu14.04下，安装并配置Ambaro-server

　　　这里，可以参考

Ambari安装之安装并配置Ambari-server（三）

　　注意这里，用到的源还是官网的

　　sudo vim /etc/apt/sources.list.d

#VERSION_NUMBER=2.2.1.0-161
deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main

sudo   apt-get install ambari-server

　　正在安装中....

　　至此，ambari-server安装完成！

　　接下来，就是对ambari-server进行设置

　　这是我的jdk安装路径

　　这里为什么要回车，因为提示必须安装MySQL JDBC，回车结束ambari配置。

　　怎么来解决呢？需要将Ambari数据库脚本导入到数据库。

　　用Ambari用户（上面设置的用户）登录mysql

　　我是这么先设置好的

mysql> create database ambari DEFAULT CHARACTER SET utf8;
Ignoring query to other database
mysql> grant all on ambari.* TO 'hive'@'localhost' IDENTIFIED BY 'ambari_password';
Ignoring query to other database
mysql> grant all on *.* TO 'ambari'@'nssa-sensor1' IDENTIFIED BY 'ambari_password';
Ignoring query to other database
mysql> grant all on ambari.* TO 'ambari'@'%' IDENTIFIED BY 'ambari_password';  
Ignoring query to other database

mysql> flush privileges;

mysql> exit;

　　或者

mysql> create database ambari DEFAULT CHARACTER SET utf8;
Ignoring query to other database

Ignoring query to other database
mysql> grant all on *.* TO 'ambari'@'nssa-sensor1' IDENTIFIED BY 'ambari_password';


mysql> flush privileges;
mysql> exit;

　　然后，将Ambari数据库脚本导入到数据库

mysql -uambari -pambari_password -hnssa-sensor1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

　　注意：这里密码和主机名，要根据你自己的机器去做。

　　至此，ambari-server的安装和设置都做完成了。

　　接下来，就是启动ambari-server了。

sudo  service ambari-server   status


sudo  service ambari-server   start

第四步：　　搭建单节点集群

　　这里，可以参考

Ambari安装之部署单节点集群

　　这里，单节点的安装，我就不多赘述了。因为，我这里是搭建的真实物理机器，4台。

第五步：搭建3或4节点集群

　　这里，可以参考

Ambari安装之部署3个节点的HA分布式集群

　　在这一步，安装过程中，大家也许会出现问题。

　　大家，可以去看我的博客

Ambari安装之部署单节点集群

　　里面有讲到如何去解决

　　同时，我这里，还遇到一个问题。在安装的过程中，没有权限去读取/var/lib/ambari-agent的data目录，这个很好解决，去放开权限，等安装完成后，改回755就是了。

　　我这里，是所有的组件，我都全部安装了。

　　这里大家，要去对hive、oozie设置下

mysql> create database hive DEFAULT CHARACTER SET utf8;

mysql> grant all on *.* TO 'hive'@'nssa-sensor1' IDENTIFIED BY 'hive_password';


mysql> flush privileges;
mysql> exit;

mysql> create database oozie DEFAULT CHARACTER SET utf8;

mysql> grant all on *.* TO 'oozie'@'nssa-sensor1' IDENTIFIED BY 'oozie_password';


mysql> flush privileges;
mysql> exit;