hadoop删除节点和添加节点

简介: 从hadoop移除机器把需要移除的机器增加到exclueds文件中,强制刷新datanode列表,等待decommission 状态正常后,即可停机下架,如有必要在namenode执行balancer操作。
从hadoop移除机器

把需要移除的机器增加到exclueds文件中,强制刷新datanode列表,等待decommission 状态正常后,即可停机下架,如有必要在namenode执行balancer操作。

操作命令:

在master的conf/hdfs-site.xml中加入

    <property>
        <name>dfs.hosts.exclude</name>
        <value>excludes文件路径</value>
     </property>

创建exclueds文件

文件内容增加你想删除的节点的机器名,一行一个

${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes命令刷新datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report查看结果


向hadoop添加机器

启动datanode和jobtracker进程,当新添加的机器向namenode发送心跳信息后,namenode会自动感知新加入的机器,如果有必要可以做balancer操作。

操作命令:

1.在新机器上
   ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
   ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

2.为防新数据大量写到新添加的机器上,在namenode上 ${HADOOP_HOME}/bin/hdfs balancer     


目录
相关文章
|
6天前
|
分布式计算 Hadoop
在Hadoop节点线缆连接检查中线缆长度
【5月更文挑战第3天】在Hadoop节点线缆连接检查中线缆长度
13 3
在Hadoop节点线缆连接检查中线缆长度
|
6天前
|
分布式计算 Hadoop 网络架构
在Hadoop节点线缆连接检查中线缆类型
【5月更文挑战第3天】在Hadoop节点线缆连接检查中线缆类型
9 1
|
6天前
|
分布式计算 Hadoop
在Hadoop节点线缆连接检查中物理检查
【5月更文挑战第3天】在Hadoop节点线缆连接检查中物理检查
10 1
|
7天前
|
分布式计算 网络协议 Hadoop
Hadoop节点IP地址和子网掩码
【5月更文挑战第2天】
14 2
|
7天前
|
分布式计算 Hadoop 测试技术
Hadoop节点线缆连接检查
【5月更文挑战第2天】Hadoop节点线缆连接检查
14 4
|
7天前
|
分布式计算 资源调度 监控
Hadoop节点网络硬件检查
【5月更文挑战第2天】
24 9
|
8天前
|
分布式计算 Hadoop Linux
Hadoop节点IP地址和子网掩码配置
【5月更文挑战第1天】
26 5
|
8天前
|
分布式计算 Hadoop
Hadoop节点检查线缆连接
【5月更文挑战第1天】可以使用一些网络诊断工具(如ping命令)来测试Hadoop节点之间的网络连通性。如果发现网络不稳定或中断,可以首先检查线缆连接是否正常。如果线缆连接没有问题,可能需要进一步检查其他网络配置或硬件故障。
18 6
|
8天前
|
分布式计算 资源调度 安全
Hadoop节点检查网络交换机、路由器和网线
【5月更文挑战第1天】您可以对Hadoop节点中的网络交换机、路由器和网线进行全面的检查,确保这些设备正常运行并且网络连接稳定可靠。如果在检查过程中发现任何问题,应及时解决,以避免影响Hadoop集群的稳定性和性能。
26 6
|
14天前
|
分布式计算 Hadoop 测试技术

相关实验场景

更多