一、准备系统环境
- 在新节点slave上安装与master相同的Java环境,JDK配套安装
- 修改集群所有节点(master和slave)的host文件(注意是所有节点),增加ip和主机名映射关系
e.g. 10.100.40.188 Lm3doc02
- 配置新节点slave免密登录,使master能免密访问slave节点
- 关防火墙
二、修改hadoop配置文件
- 修改集群所有节点(master和slave)的/opt/tpapp/hadoop-2.7.3/etc/hadoop/slaves文件,增加新节点主机名
e.g. Lm3doc02
三、主从节点拷贝
- 通过master主机完成节点拷贝,切换到jboss用户,使用scp命令将master机上的hadoop拷贝至新节点。p.s. 新节点的hadoop路径和master路径保持一致
scp -r /opt/tpapp/hadoop-2.7.3 jboss@Lm3doc02
四、单独启动新节点
- hadoop集群增加slave节点后,可以不用整个集群重启,仅启动新增加的节点,实现新节点动态接入
[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start datanode #启动datanode
starting datanode...
[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start tasktracker #启动tasktracker
starting tasktracker...
五、验证新节点
- 访问http://master:50070/主页可以看到Live Nodes节点数,或者查看DataNodes页节点空间信息
- 或者通过命令查看节点健康状况
[jboss@Lm3doc02 hadoop-2.7.3]$ ./bin/hadoop dfsadmin -report
六、集群负载均衡balance操作
- 由于新增加了节点,需要从master上对原集群数据块进行balance操作,使集群各节点数据处于相对平衡状态,避免集群性能低下(不进行balance大部分数据会往新节点写)
[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/start-balancer.sh