ambari安装HDFS组件(一)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: ambari安装HDFS组件(一)

ambari作为全球顶尖的Hadoop大数据组件快速部署和部署后的管理,还是非常的NB的,简单易用是它的重大特性。

在学习大数据的时候,ambari的安装集群会将一大部分人劝退,其实原因倒不是太复杂,而是很多同学安装集群的时候都是一路默认,正确的部署方式应该是从最小化集群搭建开始,然后逐步逐级的部署。这么说可能很多人还是不太明白,请看下图:

be870ede2acf422f946ba7798007aa73.png

先将zookeeper组件安装完毕后,在根据自己的需要逐渐的安装丰富大数据的各个组件,并在部署阶段不停的调试测试大数据。

那么,如果像我上图一样只安装zookeeper后,首先需要添加的组件就是HDFS组件了,那么,HDFS组件是一个小套件。HDFS套件由namenode,DataNode,secondaryNode,jouneryNode,HDFS客户端,nfsgateway,phonex等等小组件组成的。

下面讲解通过ambari的web界面安装HDFS套件,并组成一个初级的大数据集群。

一,


05d49f70a25f498e87501825e978a2a6.png

二,调整完毕后,下一步。


54bd79d45e8249ad8264e5658438aae6.png

三,调整完毕后,下一步。


8dc220812a35494b8e39955b844a94bb.png

四,调整完毕后,下一步。


725f558da1f74bbc87b4bffaf5e135d1.png

五,调整完毕后,下一步。


bab99958cfc3440f89059b25e53fc445.png

六,确认一下信息后,点部署就可以啦


ff595c34d2b74e9dabbc8ed65474f050.png

七,


b83f0cab3554413dbaa2a25ac5eafca1.png

截取部分启动namenode的日志,可以看到是进入了安全模式,稍等一会,自动离开了安全模式。

2022-03-20 16:51:06,974 - Execute['/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF''] {'logoutput': True, 'tries': 115, 'user': 'hdfs', 'try_sleep': 10}
safemode: Call From master/192.168.0.16 to hdp1.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
2022-03-20 16:51:12,325 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. safemode: Call From master/192.168.0.16 to hdp1.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
2022-03-20 16:51:26,254 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
2022-03-20 16:51:39,657 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
2022-03-20 16:51:52,756 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
Safe mode is OFF

八,


f298b8acc6d748c6bb8d3be7db3cf63a.png

九,HDFS组件总体信息查看


e5323e171da14478ac84b5b2a26c6225.png

至此,一个初步的大数据集群就搭建完毕了,后面,在添加一下DataNode和journalnodes和nfsgatewways就可以搭建出一个功能较全的大数据集群啦。 

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
10月前
|
SQL 关系型数据库 网络安全
ambari 安装及注意事项
ambari从无到有安装
119 0
|
3月前
|
存储 机器学习/深度学习 分布式计算
Hadoop学习笔记(HDP)-Part.12 安装HDFS
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
108 0
Hadoop学习笔记(HDP)-Part.12 安装HDFS
|
3月前
|
分布式计算 Hadoop 数据安全/隐私保护
HDFS--HA部署安装:修改配置文件 测试集群工作状态的一些指令
HDFS--HA部署安装:修改配置文件 测试集群工作状态的一些指令
60 0
|
关系型数据库 MySQL Java
安装Ambari和HDP
安装Ambari和HDP
250 1
|
存储 分布式计算 监控
HDFS 架构、组件【重要】
HDFS 架构、组件【重要】
107 0
|
分布式计算 Hadoop 网络安全
OushuDB 安装与升级之安装 HDFS
OushuDB 安装与升级之安装 HDFS
58 0
|
存储 消息中间件 大数据
zookeeper思考与总结1:在其它组件的作用及hdfs对比
zookeeper思考与总结1:在其它组件的作用及hdfs对比
174 0
zookeeper思考与总结1:在其它组件的作用及hdfs对比
|
SQL Java 关系型数据库
HDP 01.Ambari安装和配置
HDP 01.Ambari安装和配置
456 0
HDP 01.Ambari安装和配置
|
SQL 分布式计算 关系型数据库
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
459 0
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
|
分布式计算 资源调度 Hadoop
Hadoop核心组件之HDFS的安装与配置
Hadoop核心组件之HDFS的安装与配置
328 0
Hadoop核心组件之HDFS的安装与配置

热门文章

最新文章

相关实验场景

更多