centos 6.6 hadoop 2.7.1 完全分布式安装部署

简介:

1.安装前,准备三台CENTOS 6.6系统的主机或虚机,并且关闭防火墙及selinux.

2.按如下表格配置IP地址,修改hosts文件及本机名

192.168.199.21 hadoop21  Master

102.168.199.22 hadoop22  Slave1

192.168.199.23 hadoop23  Slave2


centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署
同理修改Slave1,Slave2的IP地址,hosts文件及本机名。

3.安装ORACLE JDK

先卸载本机openJDK,使用rpm -qa|grep java查看,然后用rpm -e 卸载

从oracle网站找到最新JDK,我这选择了JDK8

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载好以后解压,并移至/usr/java,如果没有可以mkdir 建立。

tar -xzvf jdk-8u51-linux-x64.gz

mv jdk1.8.0_51 /usr/java

 vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_51

export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile


4.在各节点分别建立Hadoop运行帐号grid,并设置密码

5.配置SSH免密码登陆。

在各节点分别以grid用户名生成两个密钥文件,一个是私钥id_rsa,另一个是公钥id_rsa.pub

ssh-keygen -t rsa -f ~/.ssh/id_rsa

然后在hadoop21上

cp /home/grid/.ssh/id_rsa.pub /home/grid/.ssh/authorized_keys

scp hadoop22:/home/grid/.ssh/id_rsa.pub pubkeys22

scp hadoop23:/home/grid/.ssh/id_rsa.pub pubkeys23

cat pubkeys22 >>  /home/grid/.ssh/authorized_keys

cat pubkeys23 >>  /home/grid/.ssh/authorized_keys

rm pubkeys22

rm pubkeys23

最后分发authorized_keys 到各节点

scp /home/grid/.ssh/authorized_keys hadoop22:/home/grid/.ssh

scp /home/grid/.ssh/authorized_keys hadoop23:/home/grid/.ssh

6.在Master机下载并解压Hadoop2.7.1(使用grid用户名)

找到最近的hadoop镜像,使用wget下载2.7.1

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解压hadoop-2.7.1.tar.gz

tar -xzvf hadoop-2.7.1.tar.gz

cd hadoop-2.7.1

建立tmp,dfs,dfs/data,dfs/name

7.修改配置文件

修改hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_51


centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署


centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

8. 分发至各Salve节点

scp -r /home/grid/hadoop-2.7.1 hadoop22:/home/grid

scp -r /home/grid/hadoop-2.7.1 hadoop23:/home/grid

9.Master机格式化namenode

cd /home/grid/hadoop-2.7.1

./bin/hdfs namenode -format

10.启动Hadoop

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

11.验证是否成功

Master机应该启动NameNode,SecondaryNameNode,ResourceManager

Slave机应该启动DataNode,NodeManager

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署





     本文转自yzy121403725 51CTO博客,原文链接:http://blog.51cto.com/lookingdream/1835082,如需转载请自行联系原作者





相关文章
|
6月前
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
256 21
|
6月前
|
Linux 应用服务中间件 nginx
在CentOS上部署Minikube教程
至此,您已成功在CentOS上部署并使用Minikube。您可以自由探索Kubernetes的世界,熟练配置和管理Kubernetes集群。
616 20
|
监控 前端开发 Linux
centos7系统安装部署zabbix5.0
【9月更文挑战第23天】在CentOS 7系统上部署Zabbix 5.0的步骤包括:安装MariaDB数据库及必要软件包,配置Zabbix仓库,设置数据库并导入Zabbix数据库架构,配置Zabbix服务器与前端参数,启动相关服务,并通过浏览器访问Web界面完成安装向导。
1045 0
|
10月前
|
安全 关系型数据库 MySQL
CentOS7仅安装部署MySQL80客户端
通过上述步骤,你可以在CentOS 7上成功安装并配置MySQL 8.0客户端。这个过程确保你能够使用MySQL客户端工具连接和管理远程的MySQL数据库,而不需要在本地安装MySQL服务器。定期更新MySQL客户端可以确保你使用的是最新的功能和安全修复。
960 16
|
Oracle Java 关系型数据库
CentOS 7.6操作系统部署JDK实战案例
这篇文章介绍了在CentOS 7.6操作系统上通过多种方式部署JDK的详细步骤,包括使用yum安装openjdk、基于rpm包和二进制包安装Oracle JDK,并提供了配置环境变量的方法。
509 80
|
Oracle 关系型数据库 MySQL
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
|
分布式计算 Hadoop Java
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
|
存储 Kubernetes 负载均衡
CentOS 7.9二进制部署K8S 1.28.3+集群实战
本文详细介绍了在CentOS 7.9上通过二进制方式部署Kubernetes 1.28.3+集群的全过程,包括环境准备、组件安装、证书生成、高可用配置以及网络插件部署等关键步骤。
2039 4
CentOS 7.9二进制部署K8S 1.28.3+集群实战
|
Linux pouch 容器
CentOS7部署阿里巴巴开源的pouch容器管理工具实战
关于如何在CentOS 7.6操作系统上安装和使用阿里巴巴开源的Pouch容器管理工具的实战教程。
321 2
CentOS7部署阿里巴巴开源的pouch容器管理工具实战
|
Kubernetes Linux API
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
该博客文章详细介绍了在CentOS 7.6操作系统上使用kubeadm工具部署kubernetes 1.17.2版本的测试集群的过程,包括主机环境准备、安装Docker、配置kubelet、初始化集群、添加节点、部署网络插件以及配置k8s node节点管理api server服务器。
407 0
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇

热门文章

最新文章

下一篇
oss云网关配置