ambari安装HDFS组件(一)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: ambari安装HDFS组件(一)

ambari作为全球顶尖的Hadoop大数据组件快速部署和部署后的管理,还是非常的NB的,简单易用是它的重大特性。

在学习大数据的时候,ambari的安装集群会将一大部分人劝退,其实原因倒不是太复杂,而是很多同学安装集群的时候都是一路默认,正确的部署方式应该是从最小化集群搭建开始,然后逐步逐级的部署。这么说可能很多人还是不太明白,请看下图:

be870ede2acf422f946ba7798007aa73.png

先将zookeeper组件安装完毕后,在根据自己的需要逐渐的安装丰富大数据的各个组件,并在部署阶段不停的调试测试大数据。

那么,如果像我上图一样只安装zookeeper后,首先需要添加的组件就是HDFS组件了,那么,HDFS组件是一个小套件。HDFS套件由namenode,DataNode,secondaryNode,jouneryNode,HDFS客户端,nfsgateway,phonex等等小组件组成的。

下面讲解通过ambari的web界面安装HDFS套件,并组成一个初级的大数据集群。

一,


05d49f70a25f498e87501825e978a2a6.png

二,调整完毕后,下一步。


54bd79d45e8249ad8264e5658438aae6.png

三,调整完毕后,下一步。


8dc220812a35494b8e39955b844a94bb.png

四,调整完毕后,下一步。


725f558da1f74bbc87b4bffaf5e135d1.png

五,调整完毕后,下一步。


bab99958cfc3440f89059b25e53fc445.png

六,确认一下信息后,点部署就可以啦


ff595c34d2b74e9dabbc8ed65474f050.png

七,


b83f0cab3554413dbaa2a25ac5eafca1.png

截取部分启动namenode的日志,可以看到是进入了安全模式,稍等一会,自动离开了安全模式。

2022-03-20 16:51:06,974 - Execute['/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF''] {'logoutput': True, 'tries': 115, 'user': 'hdfs', 'try_sleep': 10}
safemode: Call From master/192.168.0.16 to hdp1.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
2022-03-20 16:51:12,325 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. safemode: Call From master/192.168.0.16 to hdp1.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
2022-03-20 16:51:26,254 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
2022-03-20 16:51:39,657 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
2022-03-20 16:51:52,756 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://hdp1.com:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. 
Safe mode is OFF

八,


f298b8acc6d748c6bb8d3be7db3cf63a.png

九,HDFS组件总体信息查看


e5323e171da14478ac84b5b2a26c6225.png

至此,一个初步的大数据集群就搭建完毕了,后面,在添加一下DataNode和journalnodes和nfsgatewways就可以搭建出一个功能较全的大数据集群啦。 

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
9月前
|
SQL 关系型数据库 网络安全
ambari 安装及注意事项
ambari从无到有安装
95 0
|
2月前
|
存储 机器学习/深度学习 分布式计算
Hadoop学习笔记(HDP)-Part.12 安装HDFS
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
87 0
Hadoop学习笔记(HDP)-Part.12 安装HDFS
|
2月前
|
分布式计算 Hadoop 数据安全/隐私保护
HDFS--HA部署安装:修改配置文件 测试集群工作状态的一些指令
HDFS--HA部署安装:修改配置文件 测试集群工作状态的一些指令
54 0
|
12月前
|
关系型数据库 MySQL Java
安装Ambari和HDP
安装Ambari和HDP
234 1
|
12月前
|
存储 分布式计算 监控
HDFS 架构、组件【重要】
HDFS 架构、组件【重要】
96 0
|
分布式计算 Hadoop 网络安全
OushuDB 安装与升级之安装 HDFS
OushuDB 安装与升级之安装 HDFS
51 0
|
SQL Java 关系型数据库
HDP 01.Ambari安装和配置
HDP 01.Ambari安装和配置
440 0
HDP 01.Ambari安装和配置
|
SQL 分布式计算 关系型数据库
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
443 0
ambari安装过程中的一些误区(跳坑指南)(ambari的两个bug修复)
|
分布式计算 资源调度 Hadoop
Hadoop核心组件之HDFS的安装与配置
Hadoop核心组件之HDFS的安装与配置
308 0
Hadoop核心组件之HDFS的安装与配置
|
分布式计算 资源调度 安全
【Hadoop】(二)Hadoop 分布式安装一(HDFS)
【Hadoop】(二)Hadoop 分布式安装一(HDFS)
176 0
【Hadoop】(二)Hadoop 分布式安装一(HDFS)