CentOS7安装Hadoop集群-阿里云开发者社区

开发者社区> 互联网编程> 正文

CentOS7安装Hadoop集群

简介: http://www.jianshu.com/p/a69972d8a119 安装Hadoop之前,请先安装好zookeeper集群并启动 参考 CentOS7安装Zookeeper集群 我这里准备了三台服务器,一台主机名为hadoop1(做NameNo...
+关注继续查看

http://www.jianshu.com/p/a69972d8a119

安装Hadoop之前,请先安装好zookeeper集群并启动
参考

CentOS7安装Zookeeper集群

我这里准备了三台服务器,一台主机名为hadoop1(做NameNode),一台主机名为hadoop2(做DataNode),一台主机名为hadoop3(做DataNode)

192.168.1.186(hadoop1)
192.168.1.188(hadoop2)
192.168.1.18(hadoop3)

创建名为

hadoop

的用户,参考CentOS7建立用户

将所有hadoop服务器,配置好

hadoop

用户的免密码登录,让所有hadoop主机之间可以免密码互通
参考

CentOS7配置ssh无密码登录

设置好zookeeper、hadoop所有服务器的

hosts

文件的内容

192.168.1.232   zookeeper1
192.168.1.200   zookeeper2
192.168.1.233   zookeeper3

192.168.1.186   hadoop1
192.168.1.188   hadoop2
192.168.1.18    hadoop3

切换到

hadoop

用户,安装并配置hadoop,从http://hadoop.apache.org/releases.html找到一个你想要的版本,下载binary包(下载到hadoop1机上,配置完毕以后再复制到其他机器上),我这里下载的是hadoop-2.7.3.tar.gz

su hadoop

cd ~

wget http://119.90.25.43/mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

解压缩,并重命名为hadoop

tar -zxvf hadoop-2.7.3.tar.gz

mv hadoop-2.7.3 hadoop

编辑

hadoop-env.sh

文件,修改JAVA_HOME部分,不知道java按照位置的请参考CentOS7安装OpenJDK

vi ~/hadoop/etc/hadoop/hadoop-env.sh

[图片上传中...(image-6d2115-1513665884498-8)]

编辑

yarn-env.sh

文件,修改JAVA_HOME部分

vi ~/hadoop/etc/hadoop/yarn-env.sh

[图片上传中...(image-e6646e-1513665884498-7)]

编辑

slaves

文件,添加DataNode节点服务器的主机名,我这里添加了两个

vi ~/hadoop/etc/hadoop/slaves

[图片上传中...(image-f8ed7-1513665884498-6)]

建立临时文件夹

mkdir ~/hadoop/tmp

编辑

core-site.xml

文件

vi ~/hadoop/etc/hadoop/core-site.xml

添加如下内容

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>zookeeper1:2181,zookeeper2:2181,zookeeper3:2181</value>
</property>
</configuration>

编辑

hdfs-site.xml

文件

vi ~/hadoop/etc/hadoop/hdfs-site.xml

添加如下内容

<configuration>
<property>
<name>dfs.http.address</name>
<value>hadoop1:50070</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop1:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

复制

mapred-site.xml.template

文件为

mapred-site.xml

cp ~/hadoop/etc/hadoop/mapred-site.xml.template ~/hadoop/etc/hadoop/mapred-site.xml

编辑其内容

vi ~/hadoop/etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop1:9001</value>
</property>
<property>
<name>mapred.map.tasks</name>
<value>20</value>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>4</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>
</configuration>

修改

yarn-site.xml

文件

vi ~/hadoop/etc/hadoop/yarn-site.xml

将其内容修改为

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
 <name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
 <value>hadoop1:8030</value>
</property>
<property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>hadoop1:8088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop1:8033</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

将配置好的hadoop文件夹复制到其他节点机器

scp -r ~/hadoop hadoop@hadoop2:~/
scp -r ~/hadoop hadoop@hadoop3:~/

cd ~/hadoop

./bin/hdfs namenode -format

./sbin/start-all.sh

[图片上传中...(image-237e8c-1513665884498-5)]

在NameNode机器中,使用jps命令,看到下面内容就说明成功了

[图片上传中...(image-f8865c-1513665884498-4)]

在其他DataNode节点查看jps

[图片上传失败...(image-ce60ab-1513665884498)]

[图片上传中...(image-264079-1513665884498-2)]

可以打开浏览器,查看http://192.168.1.186:50070
一般我们是使用http://hadoop1:50070这个地址访问,因为hadoop1才是NameNode机器,当然,这需要你打开浏览器的那台机器配置hosts文件

[图片上传中...(image-41135c-1513665884498-1)]

[图片上传中...(image-315ed3-1513665884498-0)]

停止hadoop的命令

./sbin/stop-all.sh

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
centos7安装配置svn服务
安装说明 系统环境:CentOS7.2 #检查是否已安装SVN rpm -qa subversion 一.安装SVN yum -y install subversion 1、验证安装 检验已经安装的SVN版本信息 svnserve --version 2、代码库创建 ...
971 0
CentOS 7 集群部署 Hadoop 2.7.3
http://www.jianshu.com/p/1448d1550c8b
514 0
hadoop搭建之hadoop安装
hadoop环境搭建
1155 0
eclipse连接远程hadoop集群开发时报错
<div style="font-family:Arial; font-size:14px; line-height:26px"> <div><strong>eclipse连接远程hadoop集群开发时报错</strong></div> <div><br></div> <div>Exception in thread "main" org.apache.hadoop.security
1154 0
阿里云centos7安装桌面环境
centos7。 1.安装X11。yum groupinstall "X Window System"。 2.安装gnome。 全安装:yum groupinstall -y "GNOME Desktop"。
2602 0
centos下利用docker搭建hbase集群过程记录
安装docker #查看你当前的内核版本(Docker 要求 CentOS 系统的内核版本高于 3.10 ) uname -r #安装 Docker yum -y install docker #启动 Docker 后台服务 service docker start #测试运行 hello-world,由于本地没有hello-world这个镜像,所以会下载一个hello-world的镜像,并在容器内运行。
1768 0
+关注
互联网编程
讲个笑话,我有50年的Java编程经验,哈哈哈
281
文章
2
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载