hadoop自检查

简介: hadoop自检查

以下是一些常见的问题

1.是否遗漏了前置准备的相关操作配置?

2.是否遗的将文件夹(Hadoop安装文件夹,/data数据文件夹)chown授权到hadoop用户这个操作

3.是否遗忘了格式化hadoop这一步(hadoop namenode -format)

4.是否是以root用户格式化hadoop

5.是否以root启动hadoop,后续以hadoop用户启动会出错

6.是否确认workers文件内,配置了root1,root2,root3三个节点

7.是否在/etc/profile内配置了HADOOP_HOME环境变量,并将$HADOOP_HOME/bin$HADOOP_HOME/sbin加入到PATH变量中

8.是否遗忘了软链接,但环境变量配置的HADOOP_HOME的确是:/export/server/hadoop

9.是否确认配置文件内容的准确(一个字符都不能错),并确保三台机器的配置文件都ok

 

kall清除进程

Kall 123,清除为123进程的编号

 

权限

Permission denied(权限被拒绝)

image.png

hadoop安装文件夹或/data文件夹,未授权给hadoop用户,所以无权限操作

所有的Permission denied提示,都是权限导致的

 

换用户启动之后需要删除之前的一些文件./data/nn/*/data/dn/*

然后使用kall关闭进程

之后还要把文件权限换会来

 

 

 

环境变量

Command not found

image.png

没有配置好环境变量,导致

/export/server/hadoop/bin/hadoop

/export/server/hadoop/sbin/start-dfs.sh & /export/server/hadoop/sbin/stop-dfs.sh

这些命令或脚本无法直接执行

 

 

workers文件

启动后仅root1有进程

Root2root3无反应

image.png

检查,是否workers文件内有没有正确配置

Start-all.sh脚本的执行流程会是

在当前机器启动Secondarynamenode,并且根据core-site.xml的记录启动namenode

根据workers文件的记录,启动各个datanode

 

 

 

未格式化

启动后,root1namenode,仅有datanodesecondarynamenode

Root2root3无反应                    

image.png

Start-all.sh脚本为报错

查看日志namenode日志(/export/server/hadoop/logs/hadoop-hadoop-namenode-node1.log)提示namenode未格式化

image.png 

 

 

配置文件错误

WstxEOFFxception,Unexpected EOF

image.png

配置文件有问题,仔细检查每一个字符

 

 

目录
相关文章
|
5月前
|
存储 分布式计算 Hadoop
Hadoop格式化前检查集群状态
【7月更文挑战第22天】
82 14
|
5月前
|
分布式计算 Hadoop Linux
Hadoop检查本地文件系统:
【7月更文挑战第24天】
52 6
|
7月前
|
分布式计算 Hadoop
在Hadoop节点线缆连接检查中线缆长度
【5月更文挑战第3天】在Hadoop节点线缆连接检查中线缆长度
36 3
在Hadoop节点线缆连接检查中线缆长度
|
7月前
|
分布式计算 资源调度 监控
Hadoop节点网络硬件检查
【5月更文挑战第2天】
69 9
|
7月前
|
分布式计算 Hadoop
Hadoop节点检查线缆连接
【5月更文挑战第1天】可以使用一些网络诊断工具(如ping命令)来测试Hadoop节点之间的网络连通性。如果发现网络不稳定或中断,可以首先检查线缆连接是否正常。如果线缆连接没有问题,可能需要进一步检查其他网络配置或硬件故障。
54 6
|
7月前
|
分布式计算 资源调度 安全
Hadoop节点检查网络交换机、路由器和网线
【5月更文挑战第1天】您可以对Hadoop节点中的网络交换机、路由器和网线进行全面的检查,确保这些设备正常运行并且网络连接稳定可靠。如果在检查过程中发现任何问题,应及时解决,以避免影响Hadoop集群的稳定性和性能。
94 6
|
7月前
|
分布式计算 Hadoop 测试技术
Hadoop节点线缆连接检查
【5月更文挑战第2天】Hadoop节点线缆连接检查
48 4
|
7月前
|
分布式计算 Hadoop 网络架构
在Hadoop节点线缆连接检查中线缆类型
【5月更文挑战第3天】在Hadoop节点线缆连接检查中线缆类型
45 1
|
7月前
|
分布式计算 Hadoop
在Hadoop节点线缆连接检查中物理检查
【5月更文挑战第3天】在Hadoop节点线缆连接检查中物理检查
39 1
|
7月前
|
分布式计算 安全 Hadoop