【hadoop】解决:Datanode denied communication with namenode because hostname cannot be resolve

简介: 【hadoop】解决:Datanode denied communication with namenode because hostname cannot be resolve

今天在搭建hadoop环境时,出现了个奇葩的现象:4个节点的hadoop集群,我将 ssb 1T的数据集使用 -put 命令上传到hdfs,结果,一共4个节点,所有数据全往1个节点薅!每个节点1T的存储,上传过程中,3个节点存储量一点没办,另外1个节点存储占用,蹭蹭蹭往上涨!

通过网上的信息,尝试过使用均衡器(balancer),然而并没有什么用。最后回归debug最朴素的方法:查日志


由于是数据存储的问题,我直接去找datanode的日志,发现上传数据的过程中,日志里一直刷了一个错误,详细内容如下:


org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException): Datanode denied communication with namenode because hostname cannot be resolve


呀!域名解析错误?这是我想到我的 /etc/hosts里 确实没有设置各个节点的 IP 主机名映射,难道是这个原因?


  1. 停止hadoop 服务
  2. 清空 data 和 logs 目录
  3. 设置 /etc/hosts
  4. 上传数据

OK,问题解决了:


26608654-7c52945ed91af2ab.png

  • 可以看到4个节点的存储量基本均衡了(1.3T 的那个节点存储量之所以比另外几个节点要大,是包含了原始数据)
目录
相关文章
|
3天前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
28 5
|
3天前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
21 4
|
2月前
|
存储 分布式计算 Hadoop
|
2月前
|
存储 分布式计算 Hadoop
Hadoop 中 NameNode 和 DataNode 的角色
【8月更文挑战第12天】
130 4
|
2月前
|
存储 分布式计算 资源调度
|
3月前
|
分布式计算 Hadoop
Hadoop中NameNode故障
【7月更文挑战第11天】
59 3
|
3月前
|
存储 分布式计算 Hadoop
Hadoop中DataNode故障
【7月更文挑战第11天】
119 1
|
4月前
|
存储 分布式计算 监控
Hadoop集群添加新的DataNode
【6月更文挑战第19天】
147 1
|
4月前
|
分布式计算 Hadoop 网络安全
|
4月前
|
存储 分布式计算 Hadoop

相关实验场景

更多