Ambari安装之部署3个节点的HA分布式集群

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

 其实,按照这个步骤是一样的。只是按照好3个节点后,再做下HA即可。

 

 

部署3个节点的HA分布式集群

(1)添加机器

和添加服务的操作类似,如下图

之后的添加ambari03、ambari04操作就和部署ambari02类似,可以参照前面的步骤。这里不多赘述。

Ambari安装之部署单节点集群

 

 

 

 

复制代码
复制代码
-----BEGIN RSA PRIVATE KEY-----
MIIEogIBAAKCAQEAvLAEPDRhnQUq4+6IRYTF6YKmMfvfGKKbkgEX5RrZ89BQbiOm
jqWrcb8yAi6zFY/uHCM6cBG/BzdmHPlTYZwAmt8qI4hs/5NvkjLUmlwFe2+fYofZ
6kRfuJh4eEyysiLhZBEkgb4UYtDQgvB12eFBgieHSkl2+nUVorgvbnIbcqoAz/fN
4d9iU5oa5pShjQkAL1NKUmLZAh1PcFSq1OGGGEtsWFp7ggt8ufahejyZeqstbWl0
vAxohuvYdW5YjIHJhLP7ld7arsv9f40RMNEdPuWOTWegM6p94oFRAIln9Wtcc271
jQoF3xjhqUpV17PU3ErZ6+wsVukZ3iMtP/PqPQIBIwKCAQB2moZRuoZ/9J6d5mRI
9F8lEEs1XH2adNbQzXy75P4G9/gKt1LAEF0i7TVgdSAcLpWrSVfurBGsw7yHPaIg GOpv+f066An/u8J5J0POvX/J7mQvThPyVt0U8h/Wlpw1dQKz7YSpUug+HNrV9jtz Ap40jeACzxeWHbXT/r66c5w5cRciB4eFQ14xO3FZyfCcD5AjAWYNyze7mI5i8396 VscwVCd2qUsMQnjR6RXQd/vK3KJ62S0rxKQ0UC5+H5OxVny9m9q+8Qy53iEMtX/n GzDph2OGTGHBrR/+kOjdwx9kXy5FknL5Q1EITeERI0NcFmwN1UlEyaAGkDNf88ye hzjDAoGBAO7yyfNTcQpy0ZdAhVDWDb+ohKt83ucrkiW87dXHPPo/QEJOZCl2SsVt bB4p4gEUcpxy5rgkgB0JAuvnAv4JZ49I+NOASOnVpuhty0qGzRmvk1soGQn6TyfK HwybRLXTHUiQfx0UQFTrbNdpubx0CKT0fBKBBviejyfSOE59pM//AoGBAMonCpo6 a+TvjNr0TgwbyzhPHdmRBnZDXkctQIo/YE704l+eoywbKGty9MlWJ1lGZTFlnZej Xxe2Uhb0UGPo+VyCccBxc4slz1TaoQbRnpLV+s7+Mik/atG9kwB41Bd2/HjRWFAa x1LyGN5ee2hocD4u5C/x0vrzulp+5wH0poXDAoGBAIG2/+p9wQWsC2C8oCSRdS2H XfaxgFGbT1ZQnl4bs2NG6F6CU6F6uuA0Fh8AyyUoW3mANBrR/GeIjI6wmzly0dFw wZdi5cDEcIzN42L4uHuodJCSHDid0zLbb/DmkwOefZxrsrgDreT01K9z6Hw+/WDc fd4oyUUi3/+sojk85HDpAoGBALjTPOTHsxp0ngoD75YKyG3/MTvyTw0KZNNckseK Zq6WwFdsd+3Pr+015x56p6IUecbDTkF/bOJ6zrXmr+ZRWQQfffHG0AoxMpa5QsRn 4XBOnCr3CUpInC16IABueMT/Erea1GZ+4h/zSe/hWuMdqHNeEnT6Wn8KuQJII6oE QHpLAoGAYNNuiUgLrqRq8Klb4Fj0pbwWzrvNkON+j01mIEzPeNNto01GbLXKQwhe mbWMSnLHarmFWJ7Yamagzx1I/ifRjUUFLchcxLH0VDv0e1ZYaD1FV2IQNJNS4gWE m8Xbq7v4bjOmZvAfVoorH+gnvh0SMNTyFGq+rSB9wCsII3nLGPo= -----END RSA PRIVATE KEY-----
复制代码
复制代码

 

 

 

 

 

 

 

 

 

 

 

 

 

(2)添加服务

添加ambari03、ambari04的服务的操作和前面的ambari02类似,具体可以参照前面的步骤。这里不多赘述。

Ambari安装之部署单节点集群

 

 

 

 

  当然,我下面这里就是,ambigdata1、ambigdata2、ambigdata3和ambigdata4,组成的4节点的HA大数据集群。

  我这里,就吧所有的服务都加进去。

 

 

 

 

 

 

 

 

 

 

(3)配置HA

 选择,HDFS   ->  services  ->    service actions    ->  enable namenode HA

        YARN  ->   services  ->    service actions    ->enable resourcemanager HA

  以后再贴图。

接下来按照命令提示一步一步操作即可

 

  这里,大家,如何控制下呢?

 

 

 

 

 

 

 

 

  比如,这里,我参考这篇博客

完全分布式Hadoop集群的安装搭建和配置(4节点)

  在这里,为了今年实验室环境所需。所以,将计算节点动态设置为4。来迎合论文里的4、3、2和1节点,对比加速比。

 

 

 

 

 

  则最后得到,是如下

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  然后,下面就是,等同于apache版本的hive安装的配置文件hive-site.xml

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  然后呢,相信大部分博友,跟我一样,在这里,对下面三个现在,都不知道怎么设置。没关系,大家,可以先跳过。

 

 

 

 

 

 

 

 

 

 

 

 

 

  以后,再回来设置即可。这个不难。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

保证所有服务都正常启动之后,下面我们就可以上传文件到HDFS,并运行Mapreduce了

 

 

 

 

 

 

  那就改成mysql数据库来吧

 

 

 

 

 

 

   这里啊,我查了下资料

数据库要求
          Hive/HCatalog、Oozie和Ambari都需要一个内部数据库。
          Hive/HCatalog:默认使用Ambari自带的Mysql5.x。也可以自己配置Oracle 11g r2。
          Oozie:默认使用Ambari自带的Derby。也可以自己配置Mysql5.x和Oracle 11g r2。
          Ambari:默认使用Ambari自带的PostgreSQL8.x,也可以使用Oracle 11g r2.
 
 

 

 

 

 

 

 

 

 

 

 

 

 

 

  然后

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

http://192.168.86.21:8080/#installer/step8

 

 

 

   比如这不,有个什么Hcat client安装失败。多刷新,反复这里就是。(因为是网速原因)

 

   最后,一定会成功,全部安装完全的!

 

 

 

 

 

 

 

 

 

 

  如下是我开启全部服务的过程:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 对于这样的日志报错
一般是怎么看的,请问 
 jdbc驱动没有。传个上去 
 
 

 

 

 

 

 

 

 

 

 手动安装apahce版本的oozie和cdh的oozie,我会下面的这篇博客就是已经解决了

Oozie安装时放置Mysql驱动包的总结(网上最全)

 

 

现在,这里是ambari里安装oozie,一直不知道怎么放mysql-con**驱动jar包,

 以后你有时间解决下!!!
 
 

   其实,很简单

[root@ambigdata1 ~]# yum install mysql-connector-java
Is this ok [y/N]: y

  即可

 

 

心得:一般在公司里,是,开启了服务,就不需再关闭。
       只有自己的电脑,比如搭建了4个虚拟机这样的来,关闭再开启。
       好啦,写这篇博客是为了帮助入门的博友们,同时,也是,为了最近要在自己实验室,搭建真实物理机器的多节点大数据集群!
  
 
 
 
 
 

 

 

 

(4)运行MapReduce程序

1)上传文件到HDFS

执行命令:cd /usr/hdp/current/hadoop-client/bin这个目录下创建vi wc.txt这个文件,然后输入相应的内容

执行命令:sudo -u hdfs hadoop fs -put wc.txt /hdpCluster

 

文件上传成功之后就可以执行命令运行mapreduce程序了,运行如下命令

yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapeduce-examples-2.7.1.2.4.0-169.jar   wordcount   /hdpCluster/wc.txt   /output

 

 

可能会报权限的问题,那么我们只需要修改一下对应的权限即可,例如使用下面的方法。

sudo  -u  hdfs  hadoop fs -ls /

sudo -u  hdfs  hadoop  fs  -chown -R  hadoop:hadoop   /

sudo  -u  hdfs  hadoop  fs  -ls  /

 

 

Mapreduce执行成功之后通过如下命令查看程序运行结果

sudo  -u  hdfs  hadoop  fs -cat  /output/part*

那么到此为止我们的ambari安装部署HA分布式集群就给大家演示完毕了!



本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6629251.html,如需转载请自行联系原作者

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2天前
|
人工智能 Kubernetes 异构计算
大道至简-基于ACK的Deepseek满血版分布式推理部署实战
本教程演示如何在ACK中多机分布式部署DeepSeek R1满血版。
|
2月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
3月前
|
存储 分布式计算 负载均衡
分布式计算模型和集群计算模型的区别
【10月更文挑战第18天】分布式计算模型和集群计算模型各有特点和优势,在实际应用中需要根据具体的需求和条件选择合适的计算架构模式,以达到最佳的计算效果和性能。
174 62
|
4月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
80 1
|
3月前
|
存储 监控 大数据
构建高可用性ClickHouse集群:从单节点到分布式
【10月更文挑战第26天】随着业务的不断增长,单一的数据存储解决方案可能无法满足日益增加的数据处理需求。在大数据时代,数据库的性能、可扩展性和稳定性成为企业关注的重点。ClickHouse 是一个用于联机分析处理(OLAP)的列式数据库管理系统(DBMS),以其卓越的查询性能和高吞吐量而闻名。本文将从我的个人角度出发,分享如何将单节点 ClickHouse 扩展为高可用性的分布式集群,以提升系统的稳定性和可靠性。
334 0
|
4月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
72 0
|
4月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
8天前
|
缓存 NoSQL 中间件
Redis,分布式缓存演化之路
本文介绍了基于Redis的分布式缓存演化,探讨了分布式锁和缓存一致性问题及其解决方案。首先分析了本地缓存和分布式缓存的区别与优劣,接着深入讲解了分布式远程缓存带来的并发、缓存失效(穿透、雪崩、击穿)等问题及应对策略。文章还详细描述了如何使用Redis实现分布式锁,确保高并发场景下的数据一致性和系统稳定性。最后,通过双写模式和失效模式讨论了缓存一致性问题,并提出了多种解决方案,如引入Canal中间件等。希望这些内容能为读者在设计分布式缓存系统时提供有价值的参考。感谢您的阅读!
Redis,分布式缓存演化之路
|
2月前
|
存储 NoSQL Java
使用lock4j-redis-template-spring-boot-starter实现redis分布式锁
通过使用 `lock4j-redis-template-spring-boot-starter`,我们可以轻松实现 Redis 分布式锁,从而解决分布式系统中多个实例并发访问共享资源的问题。合理配置和使用分布式锁,可以有效提高系统的稳定性和数据的一致性。希望本文对你在实际项目中使用 Redis 分布式锁有所帮助。
210 5
|
3月前
|
NoSQL Java 数据处理
基于Redis海量数据场景分布式ID架构实践
【11月更文挑战第30天】在现代分布式系统中,生成全局唯一的ID是一个常见且重要的需求。在微服务架构中,各个服务可能需要生成唯一标识符,如用户ID、订单ID等。传统的自增ID已经无法满足在集群环境下保持唯一性的要求,而分布式ID解决方案能够确保即使在多个实例间也能生成全局唯一的标识符。本文将深入探讨如何利用Redis实现分布式ID生成,并通过Java语言展示多个示例,同时分析每个实践方案的优缺点。
101 8