开发者学堂课程【Hadoop 分布式文件系统 HDFS:退役旧数据节点】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/93/detail/1468
退役旧数据节点
1、添加白名单
添加到白名单的主机节点,都允许访问Name Node,不在白名单的主机节点都会被退出。
配置白名单的步骤:
(1)在 Name Node 的 /opt/module/hadoop-2.7.2/etc/hadoop 目录下创建 dfs.hosts 文件
添加如下主机名称(不添加 hadoop105)
(2)在 Name Node 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性
(3)配置文件分发
(4)刷新 Name Node
(5)更新 Resource Manager 节点
(6)在 Web 浏览器上查看
示例:
在这里面添加的主机都是允许访问集群的,同样的需要注意不允许有空行和空格,因为同样都是被脚本调用。
启用成功之后来到 hdfs.hosts
把配置路径粘贴过来启动成功,不要忘记分发,分发到104上面
下面刷新 Name Node
刷新成功之后再去查看集群
白名单一般是在刚搭建集群的时候允许哪台主机来访问集群。
2、如果数据不均衡,可以用命令式先集群的再平衡
退役一个节点之后需要把节点数据拷贝到别的节点上,这个时候就有可能导致某些节点负载过大。