Hadoop常见错误及处理方法

简介:

1、Hadoop-root-datanode-master.log 中有如下错误: 
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in 
导致datanode启动不了。 

原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败, 所以失败的原因是版本不一致造成的。

两种解决办法 第一种

 进入每个datanode的 dfs.data.dir 的 current目录,修改里面的文件VERSION

#Fri Nov 23 15:00:17 CST 2012
namespaceID=246015542
storageID=DS-2085496284-192.168.1.244-50010-1353654017403
cTime=0
storageType=DATA_NODE
layoutVersion=-32

里面有个 namespaceID 将其修改成为报错信息中的

namenode namespaceID = 971169702

相同的 namespaceID  .

然后重新启动 datanode全部都能正常启动了

  第二种:

   直接删除数据节点上的文件, 直接删除每个datanode 上面 dfs.data.dir目录下所有的文件  

rm -rf *

删除之后

重新启动 也是可以正常的启动所有的datanode

进到dfs.data.dir目录下 所有的datanode又全部重新生成了。 这样旧的数据全都不会在能找回了。其实namenode格式化了,这些数据也无用了。

 

2、如果datanode连接不上namenode,导致datanode无法启动。 
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host 
关闭防火墙 机器重启后,防火墙还会开启。 

3、从本地往hdfs文件系统上传文件,出现如下错误: 
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink 

INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023 

WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block. 

解决方法: 
关闭防火墙: 
禁用selinux: 
编辑 /etc/selinux/config文件,设置“SELINUX=disabled” 

4、安全模式导致的错误 
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode 
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。 


本文转自茄子_2008博客园博客,原文链接:http://www.cnblogs.com/xd502djj/p/4422728.html,如需转载请自行联系原作者。



目录
相关文章
|
分布式计算 资源调度 Hadoop
Hadoop常见错误及解决方案、Permission denied: user=dr.who, access=WRITE, inode=“/“:summer:supergroup:drwxr-xr-x
Hadoop常见错误及解决方案、Permission denied: user=dr.who, access=WRITE, inode=“/“:summer:supergroup:drwxr-xr-x
Hadoop常见错误及解决方案、Permission denied: user=dr.who, access=WRITE, inode=“/“:summer:supergroup:drwxr-xr-x
|
分布式计算 Hadoop
hadoop初学者MapReduce常见错误
image.png 主机与ip地址的映射,不可以出错配置完后hostname一下 image.png core-site.xml 正确配置 fs.
837 0
|
分布式计算 监控 Java
|
分布式计算 Java Hadoop
hadoop-HA集群搭建,启动DataNode,检测启动状态,执行HDFS命令,启动YARN,HDFS权限配置,C++客户端编程,常见错误
本篇博文为整理网络上Hadoop-HA搭建后出来的博客,参考网址为:http://blog.chinaunix.net/uid-196700-id-5751309.html 3. 部署 3.1. 机器列表 共5台机器(zookeeper部署在这5台机器上),部署如下表所示: NameNode JournalNode DataNode ZooKeeper 192.168.106
8049 0
|
分布式计算 Java Hadoop
Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManag
4737 0
|
分布式计算 Hadoop 网络安全
Hadoop - Mac OSX下配置和启动hadoop以及常见错误解决
0. 安装JDK 参考网上教程在OSX下安装jdk   1. 下载及安装hadoop a) 下载地址: http://hadoop.apache.org   b) 配置ssh环境 在terminal里面输入: ssh localhost 如果有错误提示信息,表示当前用户没有权限。
1698 0
|
Java 容器 安全
Hadoop常见错误2
问题1:在程序的日志中看到,在reduce阶段出现了异常:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ,程序里需要打开文件,系统默认为1024,也可以通过ulimit -a查看 编辑文件/etc/security/limits.
1112 0
|
分布式计算 安全 Java
Hadoop常见错误1
1 关于 Warning: $HADOOP_HOME is deprecated.   hadoop 1.0.0版本,安装完之后敲入hadoop命令时,老是提示这个警告: Warning: $HADOOP_HOME is deprecated.   经查hadoop-1.0.0/bin/hadoop脚本和"hadoop-config.sh"脚本,发现脚本中对HADOOP_HOME的环境变量设置做了判断,笔者的环境根本不需要设置HADOOP_HOME环境变量。
1137 0
|
分布式计算 Hadoop Java
hadoop 集群常见错误解决办法
<p style="line-height:27.2px; color:rgb(51,51,51); font-family:Helvetica,Arial,sans-serif; font-size:14px"> <a target="_blank" rel="nofollow" class="ui-link" style="outline:none; color:rgb(36,137
3460 0
|
11天前
|
存储 分布式计算 资源调度
两万字长文向你解密大数据组件 Hadoop
两万字长文向你解密大数据组件 Hadoop
43 11

相关实验场景

更多