备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Hadoop安装配置

2022-06-14 186
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 写在前面step1. Hadoop下载step2. Hadoop解压安装step3. 配置环境变量step4. 查看时候配置成功step5. 其他节点的配置step6. 修改六个配置文件6.1 hadoop-env.sh修改 | master节点6.2 core-site.xml修改 | master节点6.3 hdfs-site.xml修改 | master节点6.4 yarn-site.xml修改 | master节点6.5 mapred-site.xml修改 | master节点6.6 workers 修改 | master节点

写在前面


本系列文章索引以及一些默认好的条件在 传送门


所有节点均需要安装并配置Hadoop

一共设置了两个节点，分别是master && slave1

以下配置文件仅为个人配置，具体还请根据自己实际情况添加配置项


step1. Hadoop下载


博主使用的是Hadoop3.1.1，可以去Hadoop官网下载


step2. Hadoop解压安装


将下载后的Hadoop包放置在/usr/local之下，然后使用如下命令：

cd /usr/local
tar -zxvf  /usr/local/hadoop-3.1.1.tar.gz -C /usr/local
cd /usr/local
mv ./hadoop-3.1.1 ./hadoop


具体版本名称根据自己的实际情况来确定

切勿盲目CV


step3. 配置环境变量


使用vim打开文件命令是：vim ~/.bashrc

然后键入i后输入：

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_HOME=$HADOOP_INSTALL


然后保存编辑的内容，按下esc，然后输入:wq!保存并退出

具体版本名称根据自己的实际情况来确定

切勿盲目CV


step4. 查看时候配置成功


命令行输入：

source ~/.bashrc

然后输入hdfs 查看结果

出现下图所示则为成功:

6b0bb9b5272642c9b0a8d84f376ccaf3.png


step5. 其他节点的配置


在其他的节点均操作step1-4


step6. 修改六个配置文件


6.1 hadoop-env.sh修改 | master节点


cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh


然后键入：

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HADOOP_HOME=/usr/local/hadoop
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"


具体版本名称根据自己的实际情况来确定

切勿盲目CV

后保存


6.2 core-site.xml修改 | master节点


该文件在与6.1同级目录下

需要键入：

<property>
    <name>hadoop.tmp.dir</name><value>/usr/hadoop/tmp</value>
  </property>
  <property>
        <name>fs.default.name</name><value>hdfs://master:9000</value>
  </property>
  <property><name>io.file.buffer.size</name><value>131072</value>   
  </property>


需要夹在 <configuration></configuration> 之间


6.3 hdfs-site.xml修改 | master节点


同样在同级目录下使用vim编辑该文件，同样放在<configuration></configuration>之间

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/usr/local/hadoop/hdfs/name/</value>
</property>
<property><name>dfs.blocksize</name><value>268435456</value></property>
<property>
  <name>dfs.namenode.handler.count</name><value>100</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/local/hadoop/hdfs/data/</value>
</property>
<property>
  <name>dfs.namenode.http-address</name><value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>   
  <value>master:50090</value>
</property>


具体版本名称根据自己的实际情况来确定

切勿盲目CV


6.4 yarn-site.xml修改 | master节点


<configuration>
<property>
    <name>yarn.resourcemanager.hostname</name><value>master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
    <property>
    <name>yarn.application.classpath</name>     
<value>/usr/local/hadoop/etc/*,/usr/local/hadoop/lib/*,/usr/local/hadoop/etc/hadoop/*,/usr/local/hadoop/share/hadoop/common/*,/usr/local/hadoop/share/hadoop/common/lib/*,/usr/local/hadoop/share/hadoop/mapreduce/*,usr/local/hadoop/share/hadoop/mapreduce/lib/*,/usr/local/hadoop/share/hadoop/hdfs/*,/usr/local/hadoop/share/hadoop/hdfs/lib/*,/usr/local/hadoop/share/hadoop/yarn/*,/usr/local/hadoop/share/hadoop/yarn/lib/*
    </value>
    </property>
</configuration>


具体版本名称根据自己的实际情况来确定

切勿盲目CV


6.5 mapred-site.xml修改 | master节点


同样在同级目录下，vim编辑键入：

f80fb917e4a744328729011511bce11f.png


具体版本名称根据自己的实际情况来确定

切勿盲目CV


<configuration>
<property>
    <name>mapreduce.Framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>yarn.applicaition.classpath</name>    <value>$HADOOP_HOME/etc/*,$HADOOP_HOME/etc/hadoop/*,$HADOOP_HOME/lib/*,$HADOOP_HOME/share/hadoop/common/*,$HADOOP_HOME/share/hadoop/common/lib/*,$HADOOP_HOME/share/hadoop/mapreduce/*,$HADOOP_HOME/share/hadoop/mapreduce/lib/*,$HADOOP_HOME/share/hadoop/hdfs/*,$HADOOP_HOME/share/hadoop/hdfs/lib/*,$HADOOP_HOME/share/hadoop/yarn/*,$HADOOP_HOME/share/hadoop/yarn/lib/*</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapred.job.history.webapp.address</name>
    <value>master:19888</value>
</property>
<property>
    <name>yarn.nodemanager.aux-service</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>mapred.job.tracker.http.address</name>
    <value>master:50030</value>
</property>
<property>
   <name>mapred.task.tracker.http.address</name>
   <value>master:50060</value>
</property>
<property>
      <name>mapred.job.tracker</name><value>master:9001</value>
      <description>HOST OrIPand port of JobTracker</description>
</property>
<property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.Framework.name</name><value>yarn</value>
</property>
</configuration>


6.6 workers 修改 | master节点


同样在同级目录下面编辑

vim workers

建议去掉localhost，去掉localhost之后在网页中查看信息便不显示master节点

然后键入子节点的名字如：

slave1
slave2


step7. 配置文件的复制


将如上所示的配置文件直接复制到其他节点，因为已经实现了互通以及ssh免密登录，所以说：

scp hadoop-env.sh root@slave1:/usr/local/hadoop/etc/hadoop/
scp core-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp hdfs-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp mapred-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp yarn-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp workers root@slave1:/usr/local/hadoop/etc/hadoop/


如果有多个节点，可以将slave1替换为slave2等


step8. 配置目录的创建


该步骤三个节点均需操作

mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/local/hadoop/hdfs
mkdir /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data


step9. 格式化并启动Hadoop


在各个节点输入

hdfs namenode -format

如果出现：

c0cd2bfb180e41c0bf4153dea4ac3ad4.png


则表明格式化成功

在主机进行：

/usr/local/hadoop/sbin/start-all.sh

然后：

输入jps查看Java进程情况


step10. 浏览器查看集群


在浏览器输入：

master:50070

会显示相信的信息：

766fd707d1bb44cca83036aa7dacb774.png


e53ea45137444e63bb39905287ae9a76.png


若能够查看到每个节点的信息（master,slave1,slave2等）则说明配置成功

如果访问不到或者是访问不强，可以考虑关闭防火墙

文章标签：
Java
开发工具
计算机视觉
分布式计算
索引
Linux
网络安全
Hadoop
云计算
关键词：
CentOS配置
CentOS安装配置
hadoop集群
hadoop伪分布
云计算配置
pushytao
目录
相关文章
李振良_阿良
|
2天前
|
负载均衡 监控 Linux
CentOS6.5高可用集群LVS+Keepalived(DR模式)
CentOS6.5高可用集群LVS+Keepalived(DR模式)
李振良_阿良
4 0
XPcode7
|
2天前
|
运维 网络协议 Linux
【运维系列】Centos7安装并配置PXE服务
PXE是Intel开发的预启动执行环境，允许工作站通过网络从远程服务器启动操作系统。它依赖DHCP分配IP，DNS服务分配主机名，TFTP提供引导程序，HTTP/FTP/NFS提供安装源。要部署PXE服务器，需关闭selinux和防火墙，安装dhcpd、httpd、tftp、xinetd及相关服务，配置引导文件和Centos7安装源。最后，通过syslinux安装引导文件，并创建pxelinux.cfg/default配置文件来定义启动参数。
XPcode7
7 0
XPcode7
|
2天前
|
运维 网络协议 Linux
【运维系列】Centos7安装并配置postfix服务
安装CentOS7的Postfix和Dovecot，配置Postfix的`main.cf`文件，包括修改完全域名、允许所有IP、启用邮箱等。然后，配置Dovecot的多个配置文件以启用auth服务和调整相关设置。重启Postfix和Dovecot，设置开机自启，并关闭防火墙进行测试。最后，创建邮箱账户并在Windows邮箱客户端中添加账户设置。
XPcode7
9 0
XPcode7
|
2天前
|
运维 Linux 网络安全
【运维系列】Centos7安装配置ntp服务
配置yum并安装ntp，编辑ntp配置文件，取消17行注释，适应本机网段，22行设置使用本地时间。关闭防火墙，重启ntp服务。测试时先关闭防火墙，然后使用ntpdate命令成功同步时间。
XPcode7
7 0
XPcode7
|
2天前
|
Linux 网络安全
Centos6.5安装并配置NFS服务
该内容描述了在Linux系统中设置NFS服务的步骤。首先挂载yum源，然后安装NFS服务，并编辑配置文件。接着，重启rpcbind和NFS服务，可能需要重复此过程以解决初始可能出现的问题。此外，关闭防火墙策略，并再次重启服务。最终，根目录被共享，特定IP网段被允许访问。
XPcode7
9 0
一百减一是零
|
7天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
一百减一是零
15 0
橙子先生
|
9天前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
橙子先生
18 3
yuanzhengme
|
11天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
39 9
yuanzhengme
|
12天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
yuanzhengme
22 4
爱吃糖的范同学
|
15天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
爱吃糖的范同学
16 0

热门文章

最新文章

  • 1
    利用Hive与Hadoop构建大数据仓库：从零到一
  • 2
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
  • 3
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
  • 4
    大数据处理架构Hadoop
  • 5
    Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
  • 6
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 7
    Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
  • 8
    Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
  • 9
    【Hadoop】HDFS 读写流程
  • 10
    Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
  • 1
    centos 6.5安装yum
    14
  • 2
    CentOS6.5高可用集群LVS+Keepalived(DR模式)
    4
  • 3
    【运维系列】Centos7安装并配置PXE服务
    7
  • 4
    【运维系列】Centos7安装并配置postfix服务
    9
  • 5
    【运维系列】Centos7安装配置ntp服务
    7
  • 6
    Centos6.5安装并配置NFS服务
    9
  • 7
    Centos6.5管理与ROOT密码重置
    23
  • 8
    centos7使用yum网络安装
    15
  • 9
    centos7安装mysql-带网盘安装包
    59
  • 10
    centos7如何关闭防火墙
    17

    • 相关课程

    更多
  • 场景实践 -新手玩转云计算制作一个浪漫的表白网页
  • 场景实践- 新手玩转云计算-搭建个人博客
  • 高校精品课-华北电力大学 -云计算技术与应用
  • 高校精品课-河海大学 -云计算技术与应用
  • 高校精品课-中国传媒大学 -云计算技术
  • 高校精品课-湖南大学 -云计算基础与应用

    • 相关电子书

    更多
  • 云计算中的数据安全
  • 汇聚云计算的生态核能——云市场，云上APP Store
  • 天气风险管理的过去、现在与未来——基于大数据和云计算的天气风险管理

    • 相关实验场景

    更多
  • 基于阿里云E-HPC平台的WRF气象预报实验
  • 基于ROS快速部署LNMP环境（CentOS 7）
  • 手动部署MySQL数据库（CentOS 7）
  • 部署并使用Docker（CentOS 8）
  • 手动搭建FTP站点（CentOS 8）
  • 部署Linux主机管理系统WDCP

    • 推荐镜像

    更多
  • centos
  • centos-vault
  • centos-altarch
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）