Hadoop集群节点添加

简介: Hadoop集群节点添加

一、准备系统环境

  • 在新节点slave上安装与master相同的Java环境,JDK配套安装
  • 修改集群所有节点(master和slave)的host文件(注意是所有节点),增加ip和主机名映射关系

e.g. 10.100.40.188 Lm3doc02


  • 配置新节点slave免密登录,使master能免密访问slave节点
  • 关防火墙

二、修改hadoop配置文件

  • 修改集群所有节点(master和slave)的/opt/tpapp/hadoop-2.7.3/etc/hadoop/slaves文件,增加新节点主机名

e.g. Lm3doc02


三、主从节点拷贝

  • 通过master主机完成节点拷贝,切换到jboss用户,使用scp命令将master机上的hadoop拷贝至新节点。p.s. 新节点的hadoop路径和master路径保持一致

scp -r /opt/tpapp/hadoop-2.7.3 jboss@Lm3doc02

四、单独启动新节点

  • hadoop集群增加slave节点后,可以不用整个集群重启,仅启动新增加的节点,实现新节点动态接入

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start datanode #启动datanode

starting datanode...

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start tasktracker #启动tasktracker

starting tasktracker...


五、验证新节点

  • 访问http://master:50070/主页可以看到Live Nodes节点数,或者查看DataNodes页节点空间信息
  • 或者通过命令查看节点健康状况

[jboss@Lm3doc02 hadoop-2.7.3]$ ./bin/hadoop dfsadmin -report


六、集群负载均衡balance操作

  • 由于新增加了节点,需要从master上对原集群数据块进行balance操作,使集群各节点数据处于相对平衡状态,避免集群性能低下(不进行balance大部分数据会往新节点写)

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/start-balancer.sh


相关文章
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
147 6
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
69 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
32 3
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
57 3
|
1月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
61 1
|
1月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
39 1
|
1月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
41 1
|
1月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
45 1
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
64 2
|
15天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
58 2

相关实验场景

更多