ambari安装HDFS组件(一)

简介: ambari安装HDFS组件(一)

ambari作为全球顶尖的Hadoop大数据组件快速部署和部署后的管理,还是非常的NB的,简单易用是它的重大特性。

在学习大数据的时候,ambari的安装集群会将一大部分人劝退,其实原因倒不是太复杂,而是很多同学安装集群的时候都是一路默认,正确的部署方式应该是从最小化集群搭建开始,然后逐步逐级的部署。这么说可能很多人还是不太明白,请看下图:

be870ede2acf422f946ba7798007aa73.png

先将zookeeper组件安装完毕后,在根据自己的需要逐渐的安装丰富大数据的各个组件,并在部署阶段不停的调试测试大数据。

那么,如果像我上图一样只安装zookeeper后,首先需要添加的组件就是HDFS组件了,那么,HDFS组件是一个小套件。HDFS套件由namenode,DataNode,secondaryNode,jouneryNode,HDFS客户端,nfsgateway,phonex等等小组件组成的。

下面讲解通过ambari的web界面安装HDFS套件,并组成一个初级的大数据集群。

一,


05d49f70a25f498e87501825e978a2a6.png

二,调整完毕后,下一步。


54bd79d45e8249ad8264e5658438aae6.png

三,调整完毕后,下一步。


8dc220812a35494b8e39955b844a94bb.png

四,调整完毕后,下一步。


725f558da1f74bbc87b4bffaf5e135d1.png

五,调整完毕后,下一步。


bab99958cfc3440f89059b25e53fc445.png

六,确认一下信息后,点部署就可以啦


ff595c34d2b74e9dabbc8ed65474f050.png

七,


b83f0cab3554413dbaa2a25ac5eafca1.png

截取部分启动namenode的日志,可以看到是进入了安全模式,稍等一会,自动离开了安全模式。

2022-03-20 16:51:06,974 - Execute['/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF''] {'logoutput': True, 'tries': 115, 'user': 'hdfs', 'try_sleep': 10}
safemode: Call From master/192.168.0.16 to hdp1.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
2022-03-20 16:51:12,325 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. safemode: Call From master/192.168.0.16 to hdp1.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
2022-03-20 16:51:26,254 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
2022-03-20 16:51:39,657 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
2022-03-20 16:51:52,756 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
Safe mode is OFF

八,


f298b8acc6d748c6bb8d3be7db3cf63a.png

九,HDFS组件总体信息查看


e5323e171da14478ac84b5b2a26c6225.png

至此,一个初步的大数据集群就搭建完毕了,后面,在添加一下DataNode和journalnodes和nfsgatewways就可以搭建出一个功能较全的大数据集群啦。 

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
SQL 关系型数据库 网络安全
ambari 安装及注意事项
ambari从无到有安装
271 0
|
存储 机器学习/深度学习 分布式计算
Hadoop学习笔记(HDP)-Part.12 安装HDFS
本系列为HDP大数据平台部署实战指南,涵盖HDFS、YARN、Hive等核心组件安装配置,详解Ambari集群搭建、Kerberos安全认证及高可用实现,助力快速构建企业级大数据环境。
779 0
|
分布式计算 Hadoop 数据安全/隐私保护
HDFS--HA部署安装:修改配置文件 测试集群工作状态的一些指令
HDFS--HA部署安装:修改配置文件 测试集群工作状态的一些指令
197 0
|
关系型数据库 MySQL Java
安装Ambari和HDP
安装Ambari和HDP
615 1
|
SQL Java 关系型数据库
HDP 01.Ambari安装和配置
HDP 01.Ambari安装和配置
705 0
HDP 01.Ambari安装和配置
|
存储 分布式计算 监控
HDFS 架构、组件【重要】
HDFS 架构、组件【重要】
331 0
|
存储 消息中间件 大数据
zookeeper思考与总结1:在其它组件的作用及hdfs对比
zookeeper思考与总结1:在其它组件的作用及hdfs对比
268 0
zookeeper思考与总结1:在其它组件的作用及hdfs对比
|
SQL 分布式计算 关系型数据库
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
849 0
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
|
分布式计算 Hadoop 网络安全
OushuDB 安装与升级之安装 HDFS
OushuDB 安装与升级之安装 HDFS
160 0
|
分布式计算 资源调度 Hadoop
Hadoop核心组件之HDFS的安装与配置
Hadoop核心组件之HDFS的安装与配置
598 0
Hadoop核心组件之HDFS的安装与配置

热门文章

最新文章