centos7 hadoop 集群安装配置-阿里云开发者社区

开发者社区> 董可伦> 正文

centos7 hadoop 集群安装配置

简介: 版权声明:本文由董可伦首发于https://dongkelun.com,非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.
+关注继续查看
版权声明:本文由董可伦首发于https://dongkelun.com,非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/80234427

我的原创地址:https://dongkelun.com/2018/04/05/hadoopClusterConf/

前言:

本文安装配置的hadoop为分布式的集群,单机配置见:centos7 hadoop 单机模式安装配置
我用的三个centos7, 先将常用环境配置好(CentOS 初始环境配置),设置的ip分别为:192.168.44.138、192.168.44.139,192.168.44.140,分别对应别名master、slave1、slave2

1、首先安装配置jdk(我安装的1.8)

2、给每个虚拟机的ip起个别名

在每个虚拟机上执行

vim /etc/hosts 

在最下面添加:

192.168.44.138 master
192.168.44.139 slave1
192.168.44.140 slave2

在每个虚拟机上ping一下,保证都能ping通

ping master
ping slave1
ping slave2

3、SSH免密码登录

保证三台机器都可以免密互通,参考:linux ssh 免密登录

3、下载hadoop(每台机器)

下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/,我下载的是hadoop-2.7.5.tar.gz

4、解压到/opt目录下(每台机器、目录根据自己习惯)

tar -zxvf hadoop-2.7.5.tar.gz  -C /opt/

5、配置hadoop环境变量(每台机器)

vim /etc/profile
export HADOOP_HOME=/opt/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin  
source /etc/profile

6、配置hadoop(仅master)

配置文件里的文件路径和端口随自己习惯配置

6.1 配置slaves

需要现将slaves1文件中的localhost删掉,本次使用两个slave节点,让master仅作为NameNode使用,也可以让master既作为NameNode也作为 DataNode,在slaves添加master即可

vim /opt/hadoop-2.7.5/etc/hadoop/slaves 
slave1
slave2

6.2 配置hadoop-env.sh

vim /opt/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

找到# The java implementation to use.将其下面的一行改为:

export JAVA_HOME=/opt/jdk1.8.0_45

6.3 配置core-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/core-site.xml
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///opt/hadoop-2.7.5</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8888</value>
    </property>
</configuration>

6.4 配置hdfs-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/hdfs-site.xml

dfs.replication 一般设为 3,但这次只使用两个slave,所以 dfs.replication 的值设为 2

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/data</value>
    </property>
</configuration>

6.5 配置yarn-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/yarn-site.xml 
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

6.6 配置mapred-site.xml

cd /opt/hadoop-2.7.5/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

6.7 将上述配置的文件传到其他节点的/opt/hadoop-2.7.5/etc/hadoop/目录中

scp -r slaves hadoop-env.sh core-site.xml  hdfs-site.xml yarn-site.xml hdfs-site.xml root@slave1:/opt/hadoop-2.7.5/etc/hadoop/
scp -r slaves hadoop-env.sh core-site.xml  hdfs-site.xml yarn-site.xml hdfs-site.xml root@slave2:/opt/hadoop-2.7.5/etc/hadoop/

7、启动与停止(仅master)

7.1 hdfs启动与停止

第一次启动hdfs需要先格式化:

cd /opt/hadoop-2.7.5
./bin/hdfs namenode -format  

启动:

./sbin/start-dfs.sh

停止:

./sbin/stop-dfs.sh

验证,浏览器输入:http://192.168.44.138:50070

简单的验证hadoop命令:

hadoop fs -mkdir /test

在浏览器查看,出现如下图所示,即为成功

7.2 yarn启动与停止

启动:

cd /opt/hadoop-2.7.5
./sbin/start-yarn.sh  
./sbin/stop-yarn.sh 

浏览器查看:http://192.168.44.138:8088

jps查看进程
master:

slave1:

slave2:

若各节点的进程均如图所示,那么hadoop集群就配置成功!

参考资料

http://www.powerxing.com/install-hadoop-cluster/

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
centos7安装配置svn服务
安装说明 系统环境:CentOS7.2 #检查是否已安装SVN rpm -qa subversion 一.安装SVN yum -y install subversion 1、验证安装 检验已经安装的SVN版本信息 svnserve --version 2、代码库创建 ...
974 0
CentOS7安装Hadoop集群
http://www.jianshu.com/p/a69972d8a119 安装Hadoop之前,请先安装好zookeeper集群并启动 参考 CentOS7安装Zookeeper集群 我这里准备了三台服务器,一台主机名为hadoop1(做NameNo...
1131 0
CentOS 7 集群部署 Hadoop 2.7.3
http://www.jianshu.com/p/1448d1550c8b
514 0
eclipse连接远程hadoop集群开发时报错
<div style="font-family:Arial; font-size:14px; line-height:26px"> <div><strong>eclipse连接远程hadoop集群开发时报错</strong></div> <div><br></div> <div>Exception in thread "main" org.apache.hadoop.security
1154 0
CentOS7 64位下MySQL5.7安装与配置(YUM)
CentOS7 64位下MySQL5.7安装与配置(YUM)http://www.bieryun.com/3277.html 1、配置YUM源 在MySQL官网中下载YUM源rpm安装包:http://dev.
1217 0
centos下利用docker搭建hbase集群过程记录
安装docker #查看你当前的内核版本(Docker 要求 CentOS 系统的内核版本高于 3.10 ) uname -r #安装 Docker yum -y install docker #启动 Docker 后台服务 service docker start #测试运行 hello-world,由于本地没有hello-world这个镜像,所以会下载一个hello-world的镜像,并在容器内运行。
1768 0
+关注
董可伦
大数据、Spark、前端、机器学习 个人博客:https://dongkelun.com/ 专业:信息与计算科学
53
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载