Hadoop的NameNode无法启动异常

简介:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
2014 - 09 - 20  08 : 08 : 54 , 179  ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: NameNode is not formatted.
     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java: 331 )
     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java: 104 )
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java: 427 )
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java: 395 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java: 299 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java: 569 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java: 1479 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java: 1488 )
2014 - 09 - 20  08 : 08 : 54 , 199  ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: NameNode is not formatted.
     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java: 331 )
     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java: 104 )
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java: 427 )
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java: 395 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java: 299 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java: 569 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java: 1479 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java: 1488 )


解决方法:

格式化NameNode

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
[root@hadoop bin] # ./hadoop namenode -format
13 /06/28  22:50:23 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = java.net.UnknownHostException: hadoop: hadoop
STARTUP_MSG:   args = [- format ]
STARTUP_MSG:   version = 0.20.2
STARTUP_MSG:   build = https: //svn .apache.org /repos/asf/hadoop/common/branches/branch-0 .20 -r 911707; compiled by  'chrisdo'  on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
13 /06/28  22:50:23 INFO namenode.FSNamesystem: fsOwner=root,root
13 /06/28  22:50:23 INFO namenode.FSNamesystem: supergroup=supergroup
13 /06/28  22:50:23 INFO namenode.FSNamesystem: isPermissionEnabled= true
13 /06/28  22:50:38 INFO metrics.MetricsUtil: Unable to obtain hostName
java.net.UnknownHostException: hadoop: hadoop
     at java.net.InetAddress.getLocalHost(InetAddress.java:1354)
     at org.apache.hadoop.metrics.MetricsUtil.getHostName(MetricsUtil.java:91)
     at org.apache.hadoop.metrics.MetricsUtil.createRecord(MetricsUtil.java:80)
     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.initialize(FSDirectory.java:73)
     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.<init>(FSDirectory.java:68)
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
     at org.apache.hadoop.hdfs.server.namenode.NameNode. format (NameNode.java:854)
     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:948)
     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:965)
13 /06/28  22:50:38 INFO common.Storage: Image  file  of size 94 saved  in  0 seconds.
13 /06/28  22:50:38 INFO common.Storage: Storage directory  /tmp/hadoop-root/dfs/name  has been successfully formatted.
13 /06/28  22:50:38 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: hadoop: hadoop
************************************************************/



问题:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
2014 - 09 - 20  08 : 02 : 32 , 476  INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /tmp/hadoop-root/dfs/name does not exist
2014 - 09 - 20  08 : 02 : 32 , 480  ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.
     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java: 304 )
     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java: 104 )
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java: 427 )
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java: 395 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java: 299 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java: 569 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java: 1479 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java: 1488 )
2014 - 09 - 20  08 : 02 : 32 , 494  ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.
     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java: 304 )
     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java: 104 )
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java: 427 )
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java: 395 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java: 299 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java: 569 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java: 1479 )
     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java: 1488 )
 
2014 - 09 - 20  08 : 02 : 32 , 495  INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
************************************************************/

解决:

1
mkidr -pv   /tmp/hadoop-root/dfs/name


本文转自 梦朝思夕 51CTO博客,原文链接:http://blog.51cto.com/qiangmzsx/1556336


相关文章
|
存储 分布式计算 Hadoop
Hadoop数据块分散存储NameNode管理
【4月更文挑战第17天】Hadoop是一个开源的分布式计算框架,依赖HDFS进行分布式存储。文件被分割成数据块分散在DataNode上,NameNode负责元数据管理和协调,确保数据可靠性。NameNode的高可用性配置能防止单点故障,保证系统稳定性。这套机制支持高效、可靠和可扩展的大数据存储与访问。
339 3
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
491 5
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
395 4
|
存储 分布式计算 Hadoop
|
存储 分布式计算 Hadoop
Hadoop 中 NameNode 和 DataNode 的角色
【8月更文挑战第12天】
2161 4
|
分布式计算 Hadoop
Hadoop中NameNode故障
【7月更文挑战第11天】
773 3
|
存储 分布式计算 Hadoop
|
存储 分布式计算 Hadoop
Hadoop节点名称节点(NameNode)
【5月更文挑战第17天】
1342 3
|
存储 分布式计算 资源调度
|
存储 分布式计算 监控
Hadoop的NameNode的监控与副本管理
【4月更文挑战第15天】NameNode是Hadoop HDFS的关键组件,负责元数据管理和监控,确保数据安全、可靠和性能。监控包括NameNode的状态、资源使用和性能,以保证集群稳定性。NameNode在副本管理中负责副本创建、分布、维护和删除,确保数据冗余和容错性。有效的监控和副本管理策略对Hadoop集群的高效运行至关重要。
447 2

相关实验场景

更多