hadoop 启动和验证

简介: hadoop 启动和验证【2月更文挑战第24天】

启动Hadoop主要包括以下几个步骤:

  1. 确保Hadoop环境变量已配置:在启动Hadoop之前,需要确保Hadoop的环境变量已经配置好。在~/.bashrc或~/.bash_profile文件中添加以下内容:

image.png

export HADOOP_HOME=/path/to/your/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

请将/path/to/your/hadoop替换为实际的Hadoop安装路径。

  1. 启动Hadoop:使用以下命令启动Hadoop,其中start-dfs.sh用于启动HDFS,start-yarn.sh用于启动YARN(如果使用的是Hadoop 2.x及更高版本):

$HADOOP_HOME/bin/start-dfs.sh
$HADOOP_HOME/bin/start-yarn.sh

  1. 验证Hadoop:
  • 验证HDFS:执行hdfs dfsadmin -report命令,查看HDFS的状态报告。如果看到类似于以下的输出,说明HDFS已成功启动:

NameNode Address: node1:9000/192.168.1.100:9000
DataNode Addresses: node1:50010/192.168.1.100:50010,node2:50010/192.168.1.101:50010
Number of DataNodes: 2
Number of副本: 3
image.png

  • 验证YARN:执行yarn application -list命令,查看当前运行的应用。如果看到输出,说明YARN已成功启动。
    此外,还可以通过访问Hadoop的Web界面来验证Hadoop是否成功启动。默认情况下,Hadoop的Web界面位于

http://:50070。在浏览器中输入该地址,如果能看到Hadoop的Web界面,说明Hadoop已成功启动。

目录
相关文章
|
存储 分布式计算 Hadoop
Hadoop中验证备份
【7月更文挑战第25天】
339 5
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
423 0
|
分布式计算 资源调度 Hadoop
Hadoop【部署 02】hadoop-3.1.3 单机版YARN(配置、启动停止shell脚本修改及服务验证)
Hadoop【部署 02】hadoop-3.1.3 单机版YARN(配置、启动停止shell脚本修改及服务验证)
597 0
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
907 0
|
分布式计算 资源调度 Hadoop
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(二)
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(二)
628 0
|
分布式计算 资源调度 算法
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(一)
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(一)
2228 0
|
分布式计算 Hadoop Java
搭建Hadoop的HA高可用架构(超详细步骤+已验证)
一、集群的规划 Zookeeper集群: 192.168.182.12 (bigdata12)192.168.182.13 (bigdata13)192.168.182.14 (bigdata14) Hadoop集群: 192.
7198 0
|
分布式计算 Hadoop Java
Hadoop2.6.0运行mapreduce之Uber模式验证
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/51160494 前言 在有些情况下,运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大,如果此时的任务分片很多,那么为每个map任务或者reduce任务频繁创建Container,势必会增加Hadoop集群的资源消耗,并且因为创建分配Container本身的开销,还会增加这些任务的运行时延。
1337 0
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
733 79
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
1069 6

相关实验场景

更多