CentOS7下Hadoop分布式环境搭建过程

简介: CentOS7下Hadoop分布式环境搭建过程

640.png


先准备如下三台虚拟服务器

Hadoop中心服务器 192.168.31.160

节点Node1:192.168.31.161

节点Node2:192.168.31.162


640.png


1、三台服务器均需要安装JDK8,然后配置环境变量


1)安装jdk rpm -ivh jdk-8u221-linux-x64.rpm  

2)配置环境变量vi /etc/profile,将如下三行加到最后

export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

3)使生效source /etc/profile


640.png


2、并且在每台节点上面全创建一个hadoop用户,设置用户密码(我这里三台均设置为hadoop)

[root@Hadoop ~]# useradd -d /usr/hadoop hadoop
[root@Hadoop ~]# chmod 755 /usr/hadoop
[root@Hadoop ~]# passwd hadoop

640.png


3、均使用hadoop用户登录服务器,然后在主节点上设置ssh免密登录,保证能直接免密登录到三台节点上

su - hadoop
ssh-keygen
ssh-copy-id localhost
ssh-copy-id 192.168.31.161
ssh-copy-id 192.168.31.162

640.jpg


4、在三台服务器上传hadoop安装包,均解压hadoop包到/usr/hadoop目录,进行如下操作

tar -zxf hadoop-3.1.2.tar.gz -C /usr/hadoop --strip-components 1
vi ~/.bash_profile
追加
export HADOOP_HOME=/usr/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
 source ~/.bash_profile使生效

640.png


5、使用hadoop用户登录到主节点,配置hadoop的相关配置文件

[hadoop@Hadoop ~]$ vi ~/etc/hadoop/hdfs-site.xml

640.png


1)hdfs-site.xml
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///usr/hadoop/datanode</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///usr/hadoop/namenode</value>
  </property>

640.png

2)core-site.xml
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://Hadoop:9000/</value>
  </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>

640.png

3)yarn-site.xml
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Hadoop</value>
  </property>
  <property>
    <name>yarn.nodemanager.hostname</name>
    <value>Hadoop</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

640.png

4)mapred-site.xml
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/hadoop/</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/hadoop/</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/hadoop/</value>
    </property>

640.png

5)hadoop-env.sh


取消export JAVA_HOME注释,并修改


export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64

640.png

6)workers


640.png


7)接下来切换到root用户vi编辑/etc/hosts


640.png


8)创建datanode和namenode目录

640.png


在主节点编辑完成之后,直接scp发送给Node1,Node2节点

scp ./etc/hadoop/* Node1:~/etc/hadoop/
scp ./etc/hadoop/* Node2:~/etc/hadoop/

9)分别在 start-dfs.sh 和 stop-dfs.sh 中添加如下内容

HDFS_DATANODE_USER=hadoop
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=hadoop
HDFS_SECONDARYNAMENODE_USER=hadoop

别在 start-yarn.sh 和 stop-yarn.sh 中添加如下内容

YARN_RESOURCEMANAGER_USER=hadoop
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=hadoop


640.png

6、hadoop服务启动以及相关操作

hdfs namenode -format

然后start-dfs.sh,start-yarn.sh或者直接start-all.sh启动hadoop

jps查看状态,或者http://192.168.31.160:9870查看集群状态

640.png


7、mapreduce样例测试

[hadoop@Hadoop ~]$ hadoop fs -mkdir /test                      
[hadoop@Hadoop ~]$ hadoop fs -put /usr/hadoop/test.log /test


640.png

640.png

hadoop fs -ls -R /
hadoop fs -cat /output01/part-r-00000

640.png

640.jpg

相关文章
|
1月前
|
Web App开发 JavaScript 前端开发
从脚手架开始学前端 【第3期】Node.js环境搭建(CentOS 7)
从脚手架开始学前端 【第3期】Node.js环境搭建(CentOS 7)
65 0
|
1月前
|
分布式计算 Hadoop 测试技术
Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
【4月更文挑战第1天】Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
52 3
|
1月前
|
存储 分布式计算 资源调度
Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
【4月更文挑战第1天】Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
71 3
|
1月前
|
Java Linux
Flume【环境搭建 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证
【2月更文挑战第16天】Flume【环境搭建 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证
61 0
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
【4月更文挑战第1天】Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
46 2
|
1月前
|
存储 分布式计算 资源调度
centos 部署Hadoop-3.0-高性能集群(二)
centos 部署Hadoop-3.0-高性能集群(二)
27 0
centos 部署Hadoop-3.0-高性能集群(二)
|
1月前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
51 0
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
29 0
|
1月前
|
分布式计算 Hadoop Java
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
74 0
|
1月前
|
Java Linux 开发工具
Centos7搭建minio分布式集群
Centos7搭建minio分布式集群