centos 6.6 hadoop 2.7.1 完全分布式安装部署

简介:

1.安装前,准备三台CENTOS 6.6系统的主机或虚机,并且关闭防火墙及selinux.

2.按如下表格配置IP地址,修改hosts文件及本机名

192.168.199.21 hadoop21  Master

102.168.199.22 hadoop22  Slave1

192.168.199.23 hadoop23  Slave2


centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署
同理修改Slave1,Slave2的IP地址,hosts文件及本机名。

3.安装ORACLE JDK

先卸载本机openJDK,使用rpm -qa|grep java查看,然后用rpm -e 卸载

从oracle网站找到最新JDK,我这选择了JDK8

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载好以后解压,并移至/usr/java,如果没有可以mkdir 建立。

tar -xzvf jdk-8u51-linux-x64.gz

mv jdk1.8.0_51 /usr/java

 vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_51

export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile


4.在各节点分别建立Hadoop运行帐号grid,并设置密码

5.配置SSH免密码登陆。

在各节点分别以grid用户名生成两个密钥文件,一个是私钥id_rsa,另一个是公钥id_rsa.pub

ssh-keygen -t rsa -f ~/.ssh/id_rsa

然后在hadoop21上

cp /home/grid/.ssh/id_rsa.pub /home/grid/.ssh/authorized_keys

scp hadoop22:/home/grid/.ssh/id_rsa.pub pubkeys22

scp hadoop23:/home/grid/.ssh/id_rsa.pub pubkeys23

cat pubkeys22 >>  /home/grid/.ssh/authorized_keys

cat pubkeys23 >>  /home/grid/.ssh/authorized_keys

rm pubkeys22

rm pubkeys23

最后分发authorized_keys 到各节点

scp /home/grid/.ssh/authorized_keys hadoop22:/home/grid/.ssh

scp /home/grid/.ssh/authorized_keys hadoop23:/home/grid/.ssh

6.在Master机下载并解压Hadoop2.7.1(使用grid用户名)

找到最近的hadoop镜像,使用wget下载2.7.1

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解压hadoop-2.7.1.tar.gz

tar -xzvf hadoop-2.7.1.tar.gz

cd hadoop-2.7.1

建立tmp,dfs,dfs/data,dfs/name

7.修改配置文件

修改hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_51


centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署


centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

8. 分发至各Salve节点

scp -r /home/grid/hadoop-2.7.1 hadoop22:/home/grid

scp -r /home/grid/hadoop-2.7.1 hadoop23:/home/grid

9.Master机格式化namenode

cd /home/grid/hadoop-2.7.1

./bin/hdfs namenode -format

10.启动Hadoop

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

11.验证是否成功

Master机应该启动NameNode,SecondaryNameNode,ResourceManager

Slave机应该启动DataNode,NodeManager

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署

centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署





     本文转自yzy121403725 51CTO博客,原文链接:http://blog.51cto.com/lookingdream/1835082,如需转载请自行联系原作者





相关文章
|
4月前
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
152 21
|
4月前
|
Linux 应用服务中间件 nginx
在CentOS上部署Minikube教程
至此,您已成功在CentOS上部署并使用Minikube。您可以自由探索Kubernetes的世界,熟练配置和管理Kubernetes集群。
369 20
|
8月前
|
安全 关系型数据库 MySQL
CentOS7仅安装部署MySQL80客户端
通过上述步骤,你可以在CentOS 7上成功安装并配置MySQL 8.0客户端。这个过程确保你能够使用MySQL客户端工具连接和管理远程的MySQL数据库,而不需要在本地安装MySQL服务器。定期更新MySQL客户端可以确保你使用的是最新的功能和安全修复。
749 16
|
8月前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
254 7
|
10月前
|
Oracle 关系型数据库 MySQL
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
|
11月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
358 2
|
11月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
155 2
|
11月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
196 1
|
11月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
185 1
|
11月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
139 1