Ubuntu14.04下Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:

写在前面的话

  (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责、认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本)。

  (2)  大数据集群范围包括3节点和4节点。本人都尝试过。

  (3)  安装搭建包括离线和在线。本人都尝试过

  (4)  版本包括自定义指定和官方最新版本搭建。本人都尝试过。

  (5) 大数据集群节点的增加和删减。本人都尝试过。

  (6) 虚拟机和真实物理机上搭建。本人都尝试过。

 

关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)

 

 

  我的机器情况是

  nssa-sensor1 (192.168.30.1)      (既做ambari-server,也做ambari-agent)

  nssa-sensor2 (192.168.30.2)      (只做ambari-agent)

  nssa-sensor3 (192.168.30.3)      (只做ambari-agent)

  nssa-sensor4 (192.168.30.4)      (只做ambari-agent)

 

 

 

 

 

 

 

  我这里是,参考

CentOS6.5下Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

 

 

 

 

 

第一步: 关于Ubuntu14.04下安装Ambari的准备

  这里,与CentOS6.5下相同,我这里不多说

Ambari安装之Ambari安装前准备(CentOS6.5)(一)

   大家,自行去安装,凡是能来看我这篇博客的朋友,想必肯定是有一定的基础了。

 

 

 

第二步:关于ubuntu14.04下部署本地库,镜像服务器

   这里,大家可以参考如下。

Ambari安装之部署本地库(镜像服务器)(二)

   我这里,考虑到ubuntu14.04,所以
 

   进行,下载好

 
 
  得到

 

 

 

 

   得到

 

 

 

 

 

 

  参考官网

https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.0/bk_Installing_HDP_AMB/content/_getting_started_setting_up_a_local_repository.html

 

 

 

 

 

   以及,这第二步里,要注意的是,

  centos系统里,是

sudo yum install yum-utils createrepo 

  

   ubuntu系统里,是

sudo apt-get  install yum-utils createrepo 

 

  

   centos系统里,是

sudo yum install httpd

 

  ubuntu系统里,是

sudo apt-get install httpd

 

  

  然后,
部署,跟上述博客一样,放在/var/www/html下。我这里不多赘述。

      或者放在//usr/local/apache/htdocs下,都是可以的。

  参考我下面的博客,

Ubuntu14.04下编译安装或apt-get方式安装搭建Apache或Httpd服务(图文详解)

 

  总结:就是,这里我们自定义构建局域网源,一种是放在/var/www/html下,一种是放在/usr/local/apache/htdocs下。都是可以的

  最后,我将截图如下

 

 

 

   /usr/loca/apache/htdocs

 

 

 

   /var/www/html

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  然后,大家,可以将官方的,改成自己本地局域创建的本地源。用来安装ambari。

sudo wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list

  

  这是官网的。里面的内容如下

#VERSION_NUMBER=2.2.1.0-161
deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main

 

 

  我们要改成自己的。

#VERSION_NUMBER=2.2.1.0-161
deb http://192.168.30.1/hdp2.4/ubuntu14

   或者

#VERSION_NUMBER=2.2.1.0-161
deb http://192.168.30.1/hdp2.4/ubuntu14  Ambari main
 

 

  贴图如下

 

 

 

 

 

 

 

 

 

   即,是如下。说明自定义局域网搭建的本地源,成功!

 

 

 

 

 

   这里是,官网

 

 

   我这里,是采取离线方式的安装,即先下载好,再来安装。

   若大家,想在线安装的话,自行结合官网,然后和这篇博客来吧

       ubuntu14.04安装ambari

  在ubuntu14.04上使用ambari搭建hadoop集群

 

 

 

 

  

 

 

 

 

 

第三步:Ubuntu14.04下,安装并配置Ambaro-server

   这里,可以参考

Ambari安装之安装并配置Ambari-server(三)

 

 

  注意这里,用到的源还是官网的

 

  sudo vim /etc/apt/sources.list.d

 

#VERSION_NUMBER=2.2.1.0-161
deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main

 

 

 

 

 

sudo   apt-get install ambari-server

 

  正在安装中....

 

   至此,ambari-server安装完成!

   

   

   接下来,就是对ambari-server进行设置

 

 

 

  

  这是我的jdk安装路径

 

 

 

 

 

 

 

   这里为什么要回车,因为提示必须安装MySQL JDBC,回车结束ambari配置。

  怎么来解决呢?需要将Ambari数据库脚本导入到数据库。

  用Ambari用户(上面设置的用户)登录mysql

 

   我是这么先设置好的

复制代码
mysql> create database ambari DEFAULT CHARACTER SET utf8;
Ignoring query to other database
mysql> grant all on ambari.* TO 'hive'@'localhost' IDENTIFIED BY 'ambari_password';
Ignoring query to other database
mysql> grant all on *.* TO 'ambari'@'nssa-sensor1' IDENTIFIED BY 'ambari_password';
Ignoring query to other database
mysql> grant all on ambari.* TO 'ambari'@'%' IDENTIFIED BY 'ambari_password';  
Ignoring query to other database

mysql> flush privileges;
mysql> exit;
复制代码

 

 

  或者

复制代码
mysql> create database ambari DEFAULT CHARACTER SET utf8;
Ignoring query to other database

Ignoring query to other database
mysql> grant all on *.* TO 'ambari'@'nssa-sensor1' IDENTIFIED BY 'ambari_password';


mysql> flush privileges;
mysql> exit;
复制代码

  

 

  然后,将Ambari数据库脚本导入到数据库

mysql -uambari -pambari_password -hnssa-sensor1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

  注意:这里密码和主机名,要根据你自己的机器去做。

 

  至此,ambari-server的安装和设置都做完成了。

 

 

   接下来,就是启动ambari-server了。

sudo  service ambari-server   status


sudo  service ambari-server   start

 

 

 

 

 

 

 

 

 

 

 

 

 

第四步:  搭建单节点集群

  这里,可以参考

Ambari安装之部署单节点集群

   这里,单节点的安装,我就不多赘述了。因为,我这里是搭建的真实物理机器,4台。

 

 

 

 

第五步:  搭建3或4节点集群

  这里,可以参考

Ambari安装之部署3个节点的HA分布式集群

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

   在这一步,安装过程中,大家也许会出现问题。

 

 

   大家,可以去看我的博客

Ambari安装之部署单节点集群

  里面有讲到如何去解决

 

  

  同时,我这里,还遇到一个问题。在安装的过程中,没有权限去读取/var/lib/ambari-agent的data目录,这个很好解决,去放开权限,等安装完成后,改回755就是了。

 

 

 

 

 

 

 

 

   我这里,是所有的组件,我都全部安装了。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

   这里大家,要去对hive、oozie设置下

复制代码
mysql> create database hive DEFAULT CHARACTER SET utf8;

mysql> grant all on *.* TO 'hive'@'nssa-sensor1' IDENTIFIED BY 'hive_password';


mysql> flush privileges;
mysql> exit;
复制代码

 

 

复制代码
mysql> create database oozie DEFAULT CHARACTER SET utf8;

mysql> grant all on *.* TO 'oozie'@'nssa-sensor1' IDENTIFIED BY 'oozie_password';


mysql> flush privileges;
mysql> exit;
复制代码

 

 

 

 

 

 

 

 

 

 

 

 

 

 

   其实啊,这些步骤,大家完全可以去看的这篇博客

Ambari安装之部署3个节点的HA分布式集群

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  这些都是浏览信息,大家看看就好

 

 

 

 

 

 

 

 

 

 

  

 

 

 

   在这一步分发过程中,非常重要。大家会根据自己的网速和安装,会出现一些问题。

 

 

   大家,可以去看这篇博客

安装ambari的时候遇到的ambari和hadoop问题集

 

ambari-server启动出现Caused by: java.lang.RuntimeException:java.lang.ClassNotFoundEception:com.mysql.jdbc.Driver问题解决办法(图文详解)

ambari-server启动出现ERROR main] DBAccessorImpl:106 - Error while creating database accessor java.lang.ClassNotFoundException:com.mysql.jdbc.Driver问题解决办法(图文详解)

 

 

 

 

 

 

   当然,我这里作为补充

 

   其实,这样的,如oozie client insatll 或者 hadoop client install 或者 zookeeper  client install安装失败的原因。

   归结为就是第一次安装时,网速不稳定,导致,大家在反复安装,造成了软连接死锁的问题。

  这个问题的解决,其实很简单。

 

  第一:大家可以去看这篇博客

安装ambari的时候遇到的ambari和hadoop问题集

  这是一种解决方案的思路。

 

 

  第二:也是我自己摸索出来的

  我这里,是nssa-sensor2这台机器,已经安装好了,而其他的nssa-sensor1、nssa-sensor3和nssa-sensor4机器出现了上述问题。

  这样,大家,就把这台已经正常安装好了的机器的对应目录(哪个组件出错了),拷贝过去就行了。

 

  具体见我下面的贴图。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

   这是/etc/zookeeper/2.4.0.0-169/0目录结构

 

 

 

 

 

   这是/usr/hdp/2.4.0.0-169/zookeeper目录结构

 

 

 

 

 

 

 

   这是/usr/hdp/2.4.0.0-169/zookeeper目录结构

 

 

 

 

 

   这是/usr/hdp/current/oozie-client目录结构

 

 

 

 

 

   这是/usr/hdp/current/oozie-server的目录结构

 

  至此,上述问题得以解决。

 

 

 

 

   然后,大家还会出现,这个在oozie安装的过程中,会出现mysql-connect-java的jar包放置问题。

 

  这里,大家,可以去看我下面写的博客

Oozie安装时放置Mysql驱动包的总结(网上最全)

 

   同时,要注意,/usr/share/java目录结构,是如下(大家也可以使用我刚说的技巧,就是已经成功了的机器,将其ooize的目录结构和这个/usr/share/java拷贝过来就可以了)(别说自己没U盘,我这里是在真实物理机器上搭建的,我都可以拷贝做到,或者你也可以使用scp -r命令)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 



本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/7134327.html,如需转载请自行联系原作者


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
6月前
|
人工智能 Ubuntu 前端开发
Dify部署全栈指南:AI从Ubuntu配置到HTTPS自动化的10倍秘籍
本文档介绍如何部署Dify后端服务及前端界面,涵盖系统环境要求、依赖安装、代码拉取、环境变量配置、服务启动、数据库管理及常见问题解决方案,适用于开发与生产环境部署。
1415 1
|
10月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
9月前
|
Ubuntu 安全 数据安全/隐私保护
在Docker容器中部署GitLab服务器的步骤(面向Ubuntu 16.04)
现在,你已经成功地在Docker上部署了GitLab。这就是我们在星际中的壮举,轻松如同土豆一样简单!星际旅行结束,靠岸,打开舱门,迎接全新的代码时代。Prepare to code, astronaut!
604 12
|
11月前
|
Ubuntu 安全 Docker
Ubuntu下部署及操作Docker技巧
以上就是在Ubuntu下部署及操作Docker的具体步骤。但这只是冰山一角,Docker的魅力远不仅如此。你可以将其视为存放各种工具的小箱子,随时随地取用,极大地提升工作效率。你也可以私人订制,适应不同的开发环境,就像一个拥有各种口味冰淇淋的冰箱,满足各种各样的需求。好了,现在你已经掌握了基本的Docker运用技巧,快去尝试使用吧!记住,沉浸在探索中,你会找到无尽的乐趣和满满的收获。
496 23
|
11月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
zdl
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
676 56
|
Kubernetes Ubuntu 网络安全
ubuntu使用kubeadm搭建k8s集群
通过以上步骤,您可以在 Ubuntu 系统上使用 kubeadm 成功搭建一个 Kubernetes 集群。本文详细介绍了从环境准备、安装 Kubernetes 组件、初始化集群到管理和使用集群的完整过程,希望对您有所帮助。在实际应用中,您可以根据具体需求调整配置,进一步优化集群性能和安全性。
1423 13
|
SQL 存储 大数据
单机顶集群的大数据技术来了
大数据时代,分布式数仓如MPP成为热门技术,但其高昂的成本让人望而却步。对于多数任务,数据量并未达到PB级,单体数据库即可胜任。然而,由于SQL语法的局限性和计算任务的复杂性,分布式解决方案显得更为必要。esProc SPL作为一种开源轻量级计算引擎,通过高效的算法和存储机制,实现了单机性能超越集群的效果,为低成本、高效能的数据处理提供了新选择。
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
745 0
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
301 5