Hadoop添加datanode或者tasktracker节点

简介:

1 规划新添加的hadoop节点的角色和配置


1.1 角色

hadoop用户:xiaoyu


2. 部署新的节点



[xiaoyu@hadoop03 ~]$


3. 在hadoop集群节点上配置


3.1 修改hosts节点
把新的集群节点的主机名和IP对应关系都放到hosts,便于本地解析
# sudo vim /etc/hosts
增加如下行:
192.168.88.171 hadoop01
192.168.88.172 hadoop02
192.168.88.173 hadoop03
可以通过ping <主机名>做简单测试
3.2 添加ssh免密码认证
方法和2.4.4 中的方法是一致的。
3.3 修改conf/slave
$ vim conf/slaves
hadoop02
hadoop03
3.4 同步配置文件到新节点上
[xiaoyu@hadoop01 hadoop-1.1.2] $ scp -r conf hadoop03:~/hadoop-1.1.2/
log4j.properties 100% 4441 4.3KB/s 00:00
capacity-scheduler.xml 100% 7457 7.3KB/s 00:00
configuration.xsl 100% 535 0.5KB/s 00:00
fair-scheduler.xml 100% 327 0.3KB/s 00:00
hdfs-site.xml 100% 319 0.3KB/s 00:00
slaves 100% 18 0.0KB/s 00:00
ssl-server.xml.example 100% 1195 1.2KB/s 00:00
hadoop-policy.xml 100% 4644 4.5KB/s 00:00
taskcontroller.cfg 100% 382 0.4KB/s 00:00
mapred-queue-acls.xml 100% 2033 2.0KB/s 00:00
ssl-client.xml.example 100% 1243 1.2KB/s 00:00
masters 100% 9 0.0KB/s 00:00
core-site.xml 100% 441 0.4KB/s 00:00
hadoop-env.sh 100% 2271 2.2KB/s 00:00
hadoop-metrics2.properties 100% 1488 1.5KB/s 00:00

mapred-site.xml 100% 261 0.3KB/s 00:00


4. 启动新节点


4.1 在新节点启动集群服务
[xiaoyu@hadoop03 hadoop-1.1.2] $ bin/hadoop-daemon.sh start datanode
starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop03.out
[xiaoyu@hadoop03 hadoop-1.1.2]
$ bin/hadoop-daemon.sh start tasktracker

starting tasktracker, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-tasktracker-hadoop03.out


5. 检查新节点的启动情况


在这里hadoop01为namenode节点
这里有三种方法,当然执行命令的方法最简便。

5.1 Namenode状态页面:http://hadoop01:50070


183231342.png

具体信息如下图

183232222.png

5.2 Jobtracker状态页面: http://hadoop01:50030

183230947.png

具体信息如下图:

183229857.png

5.3 任意节点为上执行
$ bin/hadoop dfsadmin -report
Configured Capacity: 32977600512 (30.71 GB)
Present Capacity: 20209930240 (18.82 GB)
DFS Remaining: 20003794944 (18.63 GB)
DFS Used: 206135296 (196.59 MB)
DFS Used%: 1.02%
Under replicated blocks: 1
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)
Name: 192.168.88.172:50010
Decommission Status : Normal
Configured Capacity: 16488800256 (15.36 GB)
DFS Used: 205955072 (196.41 MB)
Non DFS Used: 6369054720 (5.93 GB)
DFS Remaining: 9913790464(9.23 GB)
DFS Used%: 1.25%
DFS Remaining%: 60.12%
Last contact: Fri Sep 13 03:35:51 CST 2013

Name: 192.168.88.173:50010
Decommission Status : Normal
Configured Capacity: 16488800256 (15.36 GB)
DFS Used: 180224 (176 KB)
Non DFS Used: 6398615552 (5.96 GB)
DFS Remaining: 10090004480(9.4 GB)
DFS Used%: 0%
DFS Remaining%: 61.19%

Last contact: Fri Sep 13 03:35:50 CST 2013


6. 使正在运行的计算分布到新的数据节点上


[xiaoyu@hadoop01 hadoop-1.1.2]$ ./bin/start-balancer.sh

starting balancer, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-balancer-hadoop01.out

[xiaoyu@hadoop01 hadoop-1.1.2]$

这个脚本很有用,大家也可以根据实际需要修改这个脚本。


7. 参考资料


Is there a way to add nodes to a running Hadoop cluster?



1> Update the /etc/hadoop/conf/slaves list with the new node-name
2> Sync the full configuration /etc/hadoop/conf to the new datanode from the Namenode. If the file system isn't shared.
2> Restart all the hadoop services on Namenode/Tasktracker and all the services on the new Datanode.
3> Verify the new datanode from the browser http://namenode:50070
4> Run the balancer script to readjust the data between the nodes.



     本文转自xiaoyuwang 51CTO博客,原文链接: http://blog.51cto.com/wangxiaoyu/1296632
,如需转载请自行联系原作者


相关文章
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
90 4
|
2月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
92 5
|
2月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
39 4
|
2月前
|
大数据 网络安全 数据安全/隐私保护
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
156 5
|
2月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
186 5
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
64 3
|
2月前
|
XML 大数据 网络安全
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
78 4
|
2月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
66 2
|
2月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
76 1
|
2月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
55 1

相关实验场景

更多