centos 6.6 hadoop 2.7.1 完全分布式安装部署

简介:

1.安装前,准备三台CENTOS 6.6系统的主机或虚机,并且关闭防火墙及selinux.

2.按如下表格配置IP地址,修改hosts文件及本机名

192.168.199.21 hadoop21  Master

102.168.199.22 hadoop22  Slave1

192.168.199.23 hadoop23  Slave2


centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署
同理修改Slave1,Slave2的IP地址,hosts文件及本机名。

3.安装ORACLE JDK

先卸载本机openJDK,使用rpm -qa|grep java查看,然后用rpm -e 卸载

从oracle网站找到最新JDK,我这选择了JDK8

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载好以后解压,并移至/usr/java,如果没有可以mkdir 建立。

tar -xzvf jdk-8u51-linux-x64.gz

mv jdk1.8.0_51 /usr/java

 vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_51

export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile


4.在各节点分别建立Hadoop运行帐号grid,并设置密码

5.配置SSH免密码登陆。

在各节点分别以grid用户名生成两个密钥文件,一个是私钥id_rsa,另一个是公钥id_rsa.pub

ssh-keygen -t rsa -f ~/.ssh/id_rsa

然后在hadoop21上

cp /home/grid/.ssh/id_rsa.pub /home/grid/.ssh/authorized_keys

scp hadoop22:/home/grid/.ssh/id_rsa.pub pubkeys22

scp hadoop23:/home/grid/.ssh/id_rsa.pub pubkeys23

cat pubkeys22 >>  /home/grid/.ssh/authorized_keys

cat pubkeys23 >>  /home/grid/.ssh/authorized_keys

rm pubkeys22

rm pubkeys23

最后分发authorized_keys 到各节点

scp /home/grid/.ssh/authorized_keys hadoop22:/home/grid/.ssh

scp /home/grid/.ssh/authorized_keys hadoop23:/home/grid/.ssh

6.在Master机下载并解压Hadoop2.7.1(使用grid用户名)

找到最近的hadoop镜像,使用wget下载2.7.1

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解压hadoop-2.7.1.tar.gz

tar -xzvf hadoop-2.7.1.tar.gz

cd hadoop-2.7.1

建立tmp,dfs,dfs/data,dfs/name

7.修改配置文件

修改hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_51


centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署


centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

8. 分发至各Salve节点

scp -r /home/grid/hadoop-2.7.1 hadoop22:/home/grid

scp -r /home/grid/hadoop-2.7.1 hadoop23:/home/grid

9.Master机格式化namenode

cd /home/grid/hadoop-2.7.1

./bin/hdfs namenode -format

10.启动Hadoop

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

11.验证是否成功

Master机应该启动NameNode,SecondaryNameNode,ResourceManager

Slave机应该启动DataNode,NodeManager

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署





     本文转自yzy121403725 51CTO博客,原文链接:http://blog.51cto.com/lookingdream/1835082,如需转载请自行联系原作者





相关文章
|
2月前
|
监控 前端开发 Linux
centos7系统安装部署zabbix5.0
【9月更文挑战第23天】在CentOS 7系统上部署Zabbix 5.0的步骤包括:安装MariaDB数据库及必要软件包,配置Zabbix仓库,设置数据库并导入Zabbix数据库架构,配置Zabbix服务器与前端参数,启动相关服务,并通过浏览器访问Web界面完成安装向导。
150 0
|
2月前
|
分布式计算 Hadoop Java
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
77 2
|
1月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
45 2
|
1月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
47 1
|
1月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
44 1
|
1月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
37 1
|
1月前
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
45 1
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
50 1
|
1月前
|
存储 Linux 开发者
虚拟机centos7.9一键部署docker
本文介绍了如何在 CentOS 7.9 虚拟机上安装 Docker 社区版 (Docker-ce-20.10.20)。通过使用阿里云镜像源,利用 `wget` 下载并配置 Docker-ce 的 YUM 仓库文件,然后通过 `yum` 命令完成安装。安装后,通过 `systemctl` 设置 Docker 开机自启并启动 Docker 服务。最后,使用 `docker version` 验证安装成功,并展示了客户端与服务器的版本信息。文中还提供了列出所有可用 Docker-ce 版本的命令。
181 0
虚拟机centos7.9一键部署docker