Hadoop 学习第三天之集群安装(下)

简介: Hadoop 学习之集群安装(下) Hadoop集群的其他配置步骤(可选) 1.   将secondaryNameNode和NameNode及JobTracker分开,放在不同的主机上 修改hadoop的配置目录conf下的masters root@conf#vim master 将secondaryNameNode放在hadoop2上 重新启动服务   2.   

Hadoop 学习之集群安装(下)

Hadoop集群的其他配置步骤(可选)

1.   将secondaryNameNode和NameNode及JobTracker分开,放在不同的主机上

修改hadoop的配置目录conf下的masters

root@conf#vim master

将secondaryNameNode放在hadoop2上

重新启动服务

 


2.   将NameNode和JobTracker放在不同的主机上

修改的代价比较大,最好在机器搭建时就规划好

修改nameNode的地址,如下图的红框中的value中的hadoop1为其他机器的即可


修改Jobtracker的地址,但必须在每个从节点都配置为一样的参数


修改后需要在所在节点单独起进程

 

PS:对于配置文件core-site.xml和mapred-site.xml在所有节点都是相同的内容,所以说要在hadoop集群搭建之时就要规划好,然后复制出从节点时这两个文件就不用修改了

3.   动态增加一个hadoop从节点

3.1   配置新节点的环境,如上的配置步骤:在主节点hadoop1

#vim  /usr/local/hadoop/conf/slaves 添加一个节点hadoop1

3.2   在新的节点使用hadoop的hadoop-daemon.sh 分别动态扫描datanote和tasktracker

#hadoop-daemon.sh start  datanote

#hadoop-daemon.sh start  tasktracker


进程存在,先杀掉该进程

#kill -9 2458

再次执行上面两步

 

3.3   在主节点hadoop1执行脚本:hadoop dfsadmin –refreshNodes


4.   动态删除一个hadoop从节点

4.1   直接关闭一个从几点

#kill  -9 dataNode的进程id

5.   Hadoop的安全模式

5.1   安全模式下只可查询,不能增删改

5.2   在集群启动时会有30秒的安全模式时间

5.3   进入安全模式和查看安全模式状态

查询安全模式状态

#hadop dfsadmin –safemode  get

进入安全模式

#hadop dfsadmin –safemode  enter

离开安全模式

#hadop dfsadmin –safemode leave

 

 

相关文章
|
1天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
|
5天前
|
分布式计算 Hadoop 大数据
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
【4月更文挑战第5天】Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
28 5
|
5天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
31 9
|
6天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
19 4
|
9天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
|
10天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
12 0
|
28天前
|
分布式计算 资源调度 Hadoop
Hadoop集群基本测试
Hadoop集群基本测试
22 0
|
3月前
|
分布式计算 Hadoop Java
linux上面hadoop配置集群
linux上面hadoop配置集群
46 0
|
3月前
|
分布式计算 资源调度 Hadoop
在Linux系统上安装Hadoop的详细步骤
【1月更文挑战第4天】在Linux系统上安装Hadoop的详细步骤
416 0
|
4月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
44 0