Hadoop集群节点添加

简介: Hadoop集群节点添加

一、准备系统环境

  • 在新节点slave上安装与master相同的Java环境,JDK配套安装
  • 修改集群所有节点(master和slave)的host文件(注意是所有节点),增加ip和主机名映射关系

e.g. 10.100.40.188 Lm3doc02


  • 配置新节点slave免密登录,使master能免密访问slave节点
  • 关防火墙

二、修改hadoop配置文件

  • 修改集群所有节点(master和slave)的/opt/tpapp/hadoop-2.7.3/etc/hadoop/slaves文件,增加新节点主机名

e.g. Lm3doc02


三、主从节点拷贝

  • 通过master主机完成节点拷贝,切换到jboss用户,使用scp命令将master机上的hadoop拷贝至新节点。p.s. 新节点的hadoop路径和master路径保持一致

scp -r /opt/tpapp/hadoop-2.7.3 jboss@Lm3doc02

四、单独启动新节点

  • hadoop集群增加slave节点后,可以不用整个集群重启,仅启动新增加的节点,实现新节点动态接入

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start datanode #启动datanode

starting datanode...

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start tasktracker #启动tasktracker

starting tasktracker...


五、验证新节点

  • 访问http://master:50070/主页可以看到Live Nodes节点数,或者查看DataNodes页节点空间信息
  • 或者通过命令查看节点健康状况

[jboss@Lm3doc02 hadoop-2.7.3]$ ./bin/hadoop dfsadmin -report


六、集群负载均衡balance操作

  • 由于新增加了节点,需要从master上对原集群数据块进行balance操作,使集群各节点数据处于相对平衡状态,避免集群性能低下(不进行balance大部分数据会往新节点写)

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/start-balancer.sh


相关文章
|
9天前
|
分布式计算 网络协议 Hadoop
Hadoop节点资源扩展网络配置
【4月更文挑战第16天】在扩展Hadoop节点资源时,网络配置至关重要。要点包括:保证网络连通性,确保新节点与集群间稳定通信;配置DNS和主机名解析,便于节点间通过名称通信;设置SSH免密码登录,简化集群管理;更新Hadoop配置文件以反映集群新状态;优化网络性能以提升数据传输效率;最后,测试验证确保集群正常运行和性能。具体配置应参照Hadoop版本及环境的官方文档。
19 4
|
9天前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
22 4
|
9天前
|
存储 分布式计算 固态存储
Hadoop节点资源扩展硬件选择
【4月更文挑战第16天】在扩展Hadoop节点资源时,重点是选择合适的硬件。推荐使用x86架构的机架式服务器,配备多核高主频处理器以提升计算能力,确保至少16GB内存以支持高效数据处理。选择高容量、高速度的SAS或SSD硬盘,并利用RAID技术增强数据冗余和容错。网络方面,需要千兆以太网或更快的连接以保证数据传输。同时,要考虑成本、功耗和维护,确保硬件与Hadoop版本兼容,并在选购前进行充分测试。
20 3
|
1天前
|
分布式计算 Hadoop 测试技术
|
1天前
|
分布式计算 Hadoop 测试技术
|
1天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能的带宽测试
【4月更文挑战第23天】
9 1
|
2天前
|
分布式计算 安全 Hadoop
Hadoop节点网络性能测试时延测试
【4月更文挑战第22天】
9 2
|
2天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能的带宽测试
【4月更文挑战第22天】
18 4
|
2天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能测试准备测试工具
【4月更文挑战第22天】选择合适的网络性能测试工具对于评估Hadoop集群的网络性能至关重要。这些工具可以帮助我们收集准确的数据,为优化集群配置和性能提供有力的支持。
8 1
|
3天前
|
分布式计算 安全 Hadoop
Hadoop节点网络性能测试
【4月更文挑战第21天】
12 3

相关实验场景

更多