惭入佳境之布置双节点DATANODE及错误解决

简介: 先流一下口水~~~~ 传说中YAHOO用于HADOOP的机房: 推荐安装指南: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/ 其布置多节点的思路是: 先将第一个布置好的SINGLE节点方案弄好。

先流一下口水~~~~

传说中YAHOO用于HADOOP的机房:

推荐安装指南:

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

其布置多节点的思路是:

先将第一个布置好的SINGLE节点方案弄好。

然后,将第一个节点的东东复制到另一个节点。

再将第二个节点降成DATANODE节点,而第一个节点为NAMENODE节点。

这样,就很好的实现了节点扩展。

但。。。。其实,在会产生一个小小的问题,我没有弄明白:

那是否需要重新FORMAT整个HDFS系统,还是说整个HADOOP方案在节点增加之后,啥都不用动?

因为我试着按指南重新格式化了HDFS,结果,所有的DATANODE无法正常启动了。

出错信息为:

2013-04-11 05:46:48,849 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /app/hadoop/tmp/dfs/data: namenode namespaceID = 966713409; datanode namespaceID = 1353306250

at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232)

at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147)

at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:399)

at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:309)

at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1651)

at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1590)

at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1608)

at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1734)

at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1751)

明显的,是因为格式化了HDFS两次所致。在作第一个节点时namespaceIDs并没有消失,然后,又重新弄了一次。

解决方案是将两节点的app/hadoop/tmp/下的文件全DEL之后,重新格式化一次。就OK了。

~~~~~~~~~~~

网上说的,http://stackoverflow.com/questions/3425688/why-does-the-hadoop-incompatible-namespaceids-issue-happen

Namenode generates new namespaceID every time you format HDFS. I think this is possibly to differentiate current version and previous version. You can always rollback to previous version if something is not proper which may not be possible if namespaceID is not unique for every formatted instance.

NamespaceID also connects namenode and datanodes. Datanodes bind themselves to namenode through namespaceID

每次FORMAT都会产生一个新的NAMESPACEID。

看来。。。。在第一次格式化之后,以后的节点可以直接使用?

 

目录
相关文章
|
4月前
节点退役失败案例
节点退役失败案例
17 0
|
Kubernetes 容器
【k8s】多节点master部署k8s集群详解、步骤带图、配置文件带注释(上)
文章目录 前言 一、部署详解 1.1 架构 1.2 初始化环境(所有节点)
1184 0
【k8s】多节点master部署k8s集群详解、步骤带图、配置文件带注释(上)
|
7月前
|
存储 分布式计算 负载均衡
HDFS服役新数据节点和退役旧节点步骤
HDFS服役新数据节点和退役旧节点步骤
181 1
|
SQL 分布式计算 Hadoop
Hadoop主节点宕机第二节点补救
Hadoop主节点宕机第二节点补救
339 0
Hadoop主节点宕机第二节点补救
|
存储 缓存 分布式计算
Hadoop中HDFS的读写流程(面试重点)、为什么搜不到BlockPlacementPolicyDefault、网络拓扑-节点距离计算、机架感知(副本存储节点选择)
Hadoop中HDFS的读写流程(面试重点)、为什么搜不到BlockPlacementPolicyDefault、网络拓扑-节点距离计算、机架感知(副本存储节点选择)
Hadoop中HDFS的读写流程(面试重点)、为什么搜不到BlockPlacementPolicyDefault、网络拓扑-节点距离计算、机架感知(副本存储节点选择)
|
分布式计算 资源调度 Hadoop
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(二)
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(二)
254 0
|
分布式计算 资源调度 算法
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(一)
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(一)
546 0
|
存储 分布式计算 Hadoop
机架感知(副本存储节点选择)| 学习笔记
快速学习机架感知(副本存储节点选择)
268 0
机架感知(副本存储节点选择)| 学习笔记
|
SQL 监控 前端开发
《叶问》37期,三节点的MGR集群关掉两个节点后还能继续读写吗
《叶问》37期,三节点的MGR集群关掉两个节点后还能继续读写吗
279 0
|
分布式计算 Hadoop 数据安全/隐私保护