Hadoop集群节点添加

简介: Hadoop集群节点添加

一、准备系统环境

  • 在新节点slave上安装与master相同的Java环境,JDK配套安装
  • 修改集群所有节点(master和slave)的host文件(注意是所有节点),增加ip和主机名映射关系

e.g. 10.100.40.188 Lm3doc02


  • 配置新节点slave免密登录,使master能免密访问slave节点
  • 关防火墙

二、修改hadoop配置文件

  • 修改集群所有节点(master和slave)的/opt/tpapp/hadoop-2.7.3/etc/hadoop/slaves文件,增加新节点主机名

e.g. Lm3doc02


三、主从节点拷贝

  • 通过master主机完成节点拷贝,切换到jboss用户,使用scp命令将master机上的hadoop拷贝至新节点。p.s. 新节点的hadoop路径和master路径保持一致

scp -r /opt/tpapp/hadoop-2.7.3 jboss@Lm3doc02

四、单独启动新节点

  • hadoop集群增加slave节点后,可以不用整个集群重启,仅启动新增加的节点,实现新节点动态接入

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start datanode #启动datanode

starting datanode...

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start tasktracker #启动tasktracker

starting tasktracker...


五、验证新节点

  • 访问http://master:50070/主页可以看到Live Nodes节点数,或者查看DataNodes页节点空间信息
  • 或者通过命令查看节点健康状况

[jboss@Lm3doc02 hadoop-2.7.3]$ ./bin/hadoop dfsadmin -report


六、集群负载均衡balance操作

  • 由于新增加了节点,需要从master上对原集群数据块进行balance操作,使集群各节点数据处于相对平衡状态,避免集群性能低下(不进行balance大部分数据会往新节点写)

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/start-balancer.sh


相关文章
|
1天前
|
存储 分布式计算 Hadoop
Hadoop节点数据局部性
【5月更文挑战第14天】Hadoop节点数据局部性
9 5
|
1天前
|
存储 分布式计算 Hadoop
Hadoop节点数据可靠性
【5月更文挑战第14天】Hadoop节点数据可靠性
8 4
|
1天前
|
分布式计算 Hadoop
hadoop节点容错性
【5月更文挑战第14天】hadoop节点容错性
8 3
|
2天前
|
存储 分布式计算 Hadoop
Hadoop节点冗余
【5月更文挑战第13天】
10 2
|
6天前
|
SQL 弹性计算 分布式计算
实时计算 Flink版产品使用合集之如果产品是基于ak的,可以提交sql任务到ecs自建hadoop集群吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
16 0
|
8天前
|
分布式计算 Hadoop
在Hadoop节点线缆连接检查中线缆长度
【5月更文挑战第3天】在Hadoop节点线缆连接检查中线缆长度
16 3
在Hadoop节点线缆连接检查中线缆长度
|
8天前
|
分布式计算 Hadoop 网络架构
在Hadoop节点线缆连接检查中线缆类型
【5月更文挑战第3天】在Hadoop节点线缆连接检查中线缆类型
14 1
|
8天前
|
分布式计算 Hadoop
在Hadoop节点线缆连接检查中物理检查
【5月更文挑战第3天】在Hadoop节点线缆连接检查中物理检查
11 1
|
8天前
|
分布式计算 网络协议 Hadoop
Hadoop节点IP地址和子网掩码
【5月更文挑战第2天】
18 2
|
8天前
|
分布式计算 Hadoop 测试技术
Hadoop节点线缆连接检查
【5月更文挑战第2天】Hadoop节点线缆连接检查
17 4

相关实验场景

更多