hadoop搭建之hadoop安装-阿里云开发者社区

开发者社区> 伊人心> 正文

hadoop搭建之hadoop安装

简介: hadoop环境搭建
+关注继续查看

运行环境:
系统:centos6.9
jdk:jdk1.8.0_201

搭建版本:
hadoop:hadoop-2.7.2

环境说明:
集群环境至少需要 3 个节点(也就是 3 台服务器设备):1 个 Master,2 个 Slave,节点之间局域网连接

1、首先需要分别将三台服务器的opt目录改为qiqi用户的

chown -R qiqi: /opt/

2、在opt目录下创建文件夹 modules 和 文件夹software,所有的安装包放在software下面,解压文件放在modules下面

3、准备工作,安装 JDK,在三台机器上配置 JDK 环境

tar -zvxf /opt/software/jdk-8u201-linux-x64.tar.gz -C /opt/modules/

4、配置环境变量(切换到root目录下):vi /etc/profile

# set java
export JAVA_HOME=/opt/madules/jdk1.8.0_201
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

5、执行命令:source /etc/profile 使之配置环境生效

6、添加 Hosts 映射关系(三个节点都要添加):vi /etc/hosts 添加内容如下(ip地址加节点)


192.168.147.12 c1 

192.168.147.13 c2

192.168.147.14 c3

7、修改节点与主机名:vi /etc/sysconfig/network

HOSTNAME=localhost.localdomain    #修改 localhost.localdomain  为 c1 即HOSTNAME要对应的是主机名与节点名

8、设置集群之间 SSH 无密码登陆

CentOS 默认安装了 ssh,如果没有你需要先安装 ssh 。集群环境的使用必须通过 ssh 无密码登陆来执行,本机登陆本机必须无密码登陆,主机与从机之间必须可以双向无密码登陆,从机与从机之间无限制。

a、关闭selinux

1
b、防火墙

[root@c1 ~]# service iptables stop #关闭防火墙,(我的已关闭,所以下面没显示)
[root@c1 ~]# chkconfig iptables off #永久关闭防火墙
[root@c1 ~]# service iptables status #查看防火墙状态
iptables: Firewall is not running. # 防火墙已关闭

c、配置ssh,配置ssh需要切换到普通用户下,即qiqi

[qiqi@c1 ~]$ cd ~/.ssh/
[qiqi@c1 .ssh]$ ssh-keygen -t rsa #生成密匙,连续四次回车,我的已经生成,就不展示了

d、ssh复制给其他服务器(包括自己)

ssh-copy-id c1 #在c1中操作(会有yes 和输入密码选项),修改节点,复制密匙   

在前面配置的HOSTNAME和防护墙都需要重启生效!重启后进行下面的配置

9、将hadoop的安装包解压到modules 文件夹下,将hadoop的安装文件夹重新命名为hadoop

tar -zvxf /opt/software/hadoop-2.7.2.tar.gz -C /opt/modules/

10、配置环境变量

#set hadoop

export HADOOP_HOME=/opt/madules/hadoop

export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

11、执行命令:source /etc/profile 使之配置环境生效

12、修改hadoop配置文件,会用到(Notepad)
2
3

4
配置完成点击关闭
5
双击/
6

13、配置文件
a、在第一类配置文件中修改JAVA_HOME
配置hadoop-env.sh

export JAVA_HOME=/opt/modules/jdk1.8.0_201
export HADOOP_HOME=/opt/modules/hadoop

配置mapred-env.sh

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/opt/madules/jdk1.8.0_201

配置yarn-env.sh

export JAVA_HOME=/opt/madules/jdk1.8.0_201

b、需要修改的第二类文件
slaves --->配置datanode

7

配置core-site.xml

<configuration>
<property>
                <name>fs.defaultFS</name>
#配置主节点
                <value>hdfs://c1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
#启动hadoop集群时,存放初始化文件,需要我们自己创建
                <value>/opt/modules/hadoop/hadoop-qiqi</value>
        </property>
</configuration>

在命令窗新建缓存目录

 hadoop fs -mkdir hadoop

配置hdfs-site.xml

<configuration>

 <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.http-address</name>
                <value>c1:50070</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>c1:50090</value>
        </property>
</configuration>

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->


    <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
    </property>
    <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
    </property>
    <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>c1</value>
    </property>
    <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
    </property>
    <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>86400</value>
    </property>
    <property>
                <name>mapreduce.jobhistory.address</name>
                <value>c1:10020</value>
    </property>
    <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>c1:19888</value>
    </property>








</configuration>

14、将配置好的hadoop环境复制到其他节点的modules目录下

scp -r hadoop/ qiqi@c2:/opt/modules/ 
scp -r hadoop/ qiqi@c3:/opt/modules/ 

15、配置完成,初始化集群(切换到hadoop目录下)

bin/hadoop namenode -format

16、启动集群

sbin/start-all.sh

17、输入jps查看进程
9
18、打开本地浏览器输入 c1:50070查看hdfs文件系统的页面
19、本地浏览器输入 c1:8088查看yarn资源管理页面

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Win7下安装Hadoop
1、本人电脑是Win7 64位系统的: 2、JDK 版本: 3、Cygwin 版本: 官网自行下载 4、Hadoop 版本: 官网自行下载,下载稳定版的吧 下面就开始安装啦~~~~ 一、 安装JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK。我安装的路径为C:\Java\j
1355 0
CentOS7 搭建Ambari-Server,安装Hadoop集群(一)
2017-07-05:修正几处拼写错误,之前没发现,抱歉! 第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵。 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术;给我的学习内容是通过Ambari安装Hadoop集群。
2340 0
CentOS7安装Hadoop集群
http://www.jianshu.com/p/a69972d8a119 安装Hadoop之前,请先安装好zookeeper集群并启动 参考 CentOS7安装Zookeeper集群 我这里准备了三台服务器,一台主机名为hadoop1(做NameNo...
1137 0
hadoop1.2.1的安装
前提:1.机器最好都做ssh免密登录,最后在启动hadoop的时候会简单很多 免密登录看免密登录   2.集群中的虚拟机最好都关闭防火墙,否则很麻烦   3集群中的虚拟机中必须安装jdk.   具体安装步骤如下: 1.
716 0
pdo_mysql安装不了或是安装后用不了的修复教程
目前发现wdOS及lanmp_wdcp的RPM包安装在部分系统下安装后,在安装pdo_mysql时无法安装或安装后无法使用的问题如在安装时提示下如下 regenerate PHP parsers.
788 0
+关注
伊人心
取乎其上,得乎其中;取乎其中,得乎其下;取乎其下,则无所得矣
17
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载