AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Hadoop安装配置

2022-06-14 249
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 写在前面step1. Hadoop下载step2. Hadoop解压安装step3. 配置环境变量step4. 查看时候配置成功step5. 其他节点的配置step6. 修改六个配置文件6.1 hadoop-env.sh修改 | master节点6.2 core-site.xml修改 | master节点6.3 hdfs-site.xml修改 | master节点6.4 yarn-site.xml修改 | master节点6.5 mapred-site.xml修改 | master节点6.6 workers 修改 | master节点

写在前面


本系列文章索引以及一些默认好的条件在 传送门


所有节点均需要安装并配置Hadoop

一共设置了两个节点，分别是master && slave1

以下配置文件仅为个人配置，具体还请根据自己实际情况添加配置项


step1. Hadoop下载


博主使用的是Hadoop3.1.1，可以去Hadoop官网下载


step2. Hadoop解压安装


将下载后的Hadoop包放置在/usr/local之下，然后使用如下命令：

cd /usr/local
tar -zxvf  /usr/local/hadoop-3.1.1.tar.gz -C /usr/local
cd /usr/local
mv ./hadoop-3.1.1 ./hadoop


具体版本名称根据自己的实际情况来确定

切勿盲目CV


step3. 配置环境变量


使用vim打开文件命令是：vim ~/.bashrc

然后键入i后输入：

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_HOME=$HADOOP_INSTALL


然后保存编辑的内容，按下esc，然后输入:wq!保存并退出

具体版本名称根据自己的实际情况来确定

切勿盲目CV


step4. 查看时候配置成功


命令行输入：

source ~/.bashrc

然后输入hdfs 查看结果

出现下图所示则为成功:

6b0bb9b5272642c9b0a8d84f376ccaf3.png


step5. 其他节点的配置


在其他的节点均操作step1-4


step6. 修改六个配置文件


6.1 hadoop-env.sh修改 | master节点


cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh


然后键入：

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HADOOP_HOME=/usr/local/hadoop
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"


具体版本名称根据自己的实际情况来确定

切勿盲目CV

后保存


6.2 core-site.xml修改 | master节点


该文件在与6.1同级目录下

需要键入：

<property>
    <name>hadoop.tmp.dir</name><value>/usr/hadoop/tmp</value>
  </property>
  <property>
        <name>fs.default.name</name><value>hdfs://master:9000</value>
  </property>
  <property><name>io.file.buffer.size</name><value>131072</value>   
  </property>


需要夹在 <configuration></configuration> 之间


6.3 hdfs-site.xml修改 | master节点


同样在同级目录下使用vim编辑该文件，同样放在<configuration></configuration>之间

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/usr/local/hadoop/hdfs/name/</value>
</property>
<property><name>dfs.blocksize</name><value>268435456</value></property>
<property>
  <name>dfs.namenode.handler.count</name><value>100</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/local/hadoop/hdfs/data/</value>
</property>
<property>
  <name>dfs.namenode.http-address</name><value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>   
  <value>master:50090</value>
</property>


具体版本名称根据自己的实际情况来确定

切勿盲目CV


6.4 yarn-site.xml修改 | master节点


<configuration>
<property>
    <name>yarn.resourcemanager.hostname</name><value>master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
    <property>
    <name>yarn.application.classpath</name>     
<value>/usr/local/hadoop/etc/*,/usr/local/hadoop/lib/*,/usr/local/hadoop/etc/hadoop/*,/usr/local/hadoop/share/hadoop/common/*,/usr/local/hadoop/share/hadoop/common/lib/*,/usr/local/hadoop/share/hadoop/mapreduce/*,usr/local/hadoop/share/hadoop/mapreduce/lib/*,/usr/local/hadoop/share/hadoop/hdfs/*,/usr/local/hadoop/share/hadoop/hdfs/lib/*,/usr/local/hadoop/share/hadoop/yarn/*,/usr/local/hadoop/share/hadoop/yarn/lib/*
    </value>
    </property>
</configuration>


具体版本名称根据自己的实际情况来确定

切勿盲目CV


6.5 mapred-site.xml修改 | master节点


同样在同级目录下，vim编辑键入：

f80fb917e4a744328729011511bce11f.png


具体版本名称根据自己的实际情况来确定

切勿盲目CV


<configuration>
<property>
    <name>mapreduce.Framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>yarn.applicaition.classpath</name>    <value>$HADOOP_HOME/etc/*,$HADOOP_HOME/etc/hadoop/*,$HADOOP_HOME/lib/*,$HADOOP_HOME/share/hadoop/common/*,$HADOOP_HOME/share/hadoop/common/lib/*,$HADOOP_HOME/share/hadoop/mapreduce/*,$HADOOP_HOME/share/hadoop/mapreduce/lib/*,$HADOOP_HOME/share/hadoop/hdfs/*,$HADOOP_HOME/share/hadoop/hdfs/lib/*,$HADOOP_HOME/share/hadoop/yarn/*,$HADOOP_HOME/share/hadoop/yarn/lib/*</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapred.job.history.webapp.address</name>
    <value>master:19888</value>
</property>
<property>
    <name>yarn.nodemanager.aux-service</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>mapred.job.tracker.http.address</name>
    <value>master:50030</value>
</property>
<property>
   <name>mapred.task.tracker.http.address</name>
   <value>master:50060</value>
</property>
<property>
      <name>mapred.job.tracker</name><value>master:9001</value>
      <description>HOST OrIPand port of JobTracker</description>
</property>
<property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.Framework.name</name><value>yarn</value>
</property>
</configuration>


6.6 workers 修改 | master节点


同样在同级目录下面编辑

vim workers

建议去掉localhost，去掉localhost之后在网页中查看信息便不显示master节点

然后键入子节点的名字如：

slave1
slave2


step7. 配置文件的复制


将如上所示的配置文件直接复制到其他节点，因为已经实现了互通以及ssh免密登录，所以说：

scp hadoop-env.sh root@slave1:/usr/local/hadoop/etc/hadoop/
scp core-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp hdfs-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp mapred-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp yarn-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp workers root@slave1:/usr/local/hadoop/etc/hadoop/


如果有多个节点，可以将slave1替换为slave2等


step8. 配置目录的创建


该步骤三个节点均需操作

mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/local/hadoop/hdfs
mkdir /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data


step9. 格式化并启动Hadoop


在各个节点输入

hdfs namenode -format

如果出现：

c0cd2bfb180e41c0bf4153dea4ac3ad4.png


则表明格式化成功

在主机进行：

/usr/local/hadoop/sbin/start-all.sh

然后：

输入jps查看Java进程情况


step10. 浏览器查看集群


在浏览器输入：

master:50070

会显示相信的信息：

766fd707d1bb44cca83036aa7dacb774.png


e53ea45137444e63bb39905287ae9a76.png


若能够查看到每个节点的信息（master,slave1,slave2等）则说明配置成功

如果访问不到或者是访问不强，可以考虑关闭防火墙

文章标签：
Java
开发工具
计算机视觉
分布式计算
索引
Linux
网络安全
Hadoop
云计算
关键词：
CentOS配置
CentOS安装配置
hadoop集群
hadoop安装配置
hadoop集群centos
pushytao
目录
相关文章
明弟有理想
|
4月前
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群，包括一个主节点和两个工作节点。各节点运行CentOS 7系统，最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl，以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
明弟有理想
309 4
杀死一只知更鸟debug
|
5月前
|
分布式计算 Hadoop Java
Hadoop集群搭建，基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】，常见问题解决
本文是一份详细的Hadoop集群搭建指南，基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时，还提供了常见问题的解决方案。
杀死一只知更鸟debug
1061 0
Hadoop集群搭建，基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】，常见问题解决
尹正杰
|
5月前
|
存储 Kubernetes 负载均衡
CentOS 7.9二进制部署K8S 1.28.3+集群实战
本文详细介绍了在CentOS 7.9上通过二进制方式部署Kubernetes 1.28.3+集群的全过程，包括环境准备、组件安装、证书生成、高可用配置以及网络插件部署等关键步骤。
尹正杰
890 4
CentOS 7.9二进制部署K8S 1.28.3+集群实战
尹正杰
|
5月前
|
Kubernetes Linux API
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
该博客文章详细介绍了在CentOS 7.6操作系统上使用kubeadm工具部署kubernetes 1.17.2版本的测试集群的过程，包括主机环境准备、安装Docker、配置kubelet、初始化集群、添加节点、部署网络插件以及配置k8s node节点管理api server服务器。
尹正杰
209 0
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
蓝易云
|
6月前
|
物联网 应用服务中间件 Linux
CentOS7.9 Nginx+EMQX集群组建MQTTS平台
通过以上步骤，您已成功搭建了一个基于CentOS 7.9、Nginx和EMQX的MQTTS平台。这个平台既能保证数据传输的安全性，又能利用Nginx的负载均衡能力和EMQX的高性能、高并发处理能力，实现稳定高效的消息服务。在部署和配置过程中，务必注意证书、域名以及EMQX配置的正确性，确保系统安全和稳定运行。此外，定期更新软件和系统，以及监控系统性能，也是保证MQTTS平台长期稳定运行的重要环节。
蓝易云
160 4
蓝易云
|
6月前
|
物联网 应用服务中间件 Linux
CentOS7.9 Nginx+EMQX集群组建MQTTS平台
通过以上步骤，您已成功搭建了一个基于CentOS 7.9、Nginx和EMQX的MQTTS平台。这个平台既能保证数据传输的安全性，又能利用Nginx的负载均衡能力和EMQX的高性能、高并发处理能力，实现稳定高效的消息服务。在部署和配置过程中，务必注意证书、域名以及EMQX配置的正确性，确保系统安全和稳定运行。此外，定期更新软件和系统，以及监控系统性能，也是保证MQTTS平台长期稳定运行的重要环节。
蓝易云
179 3
蓝易云
|
6月前
|
物联网 应用服务中间件 Linux
CentOS7.9 Nginx+EMQX集群组建MQTTS平台
通过以上步骤，您已成功搭建了一个基于CentOS 7.9、Nginx和EMQX的MQTTS平台。这个平台既能保证数据传输的安全性，又能利用Nginx的负载均衡能力和EMQX的高性能、高并发处理能力，实现稳定高效的消息服务。在部署和配置过程中，务必注意证书、域名以及EMQX配置的正确性，确保系统安全和稳定运行。此外，定期更新软件和系统，以及监控系统性能，也是保证MQTTS平台长期稳定运行的重要环节。
蓝易云
119 0
呆呆宝
|
7月前
|
云计算
云计算代码问题之当配置发生变更时，流水线会如何解决
云计算代码问题之当配置发生变更时，流水线会如何解决
呆呆宝
49 1
1941623231718325
|
8月前
|
存储 缓存 运维
云计算中的服务器选型与配置：技术深度解析
【6月更文挑战第29天】云计算服务器选型与配置深度解析：关注业务需求、技术要求及成本效益。重点包括CPU、内存、存储和网络配置的优化，结合负载均衡、缓存、虚拟化和自动化运维策略，以提升性能和效率，确保云服务的稳定与高效。
1941623231718325
337 2
小竹笋
|
8月前
|
分布式计算 资源调度 监控
分布式系统详解--框架（Hadoop-集群搭建）
分布式系统详解--框架（Hadoop-集群搭建）
小竹笋
132 0

热门文章

最新文章

  • 1
    CentOS 8中 更新或下载时报错：为仓库 ‘appstream‘ 下载元数据失败 : Cannot prepare internal
  • 2
    CentOS系统下的软件安装与卸载
  • 3
    docker centos镜像 npm安装包时报错“npm ERR! code ECONNRESET”
  • 4
    Centos7.9安装phpldapadmin
  • 5
    centos 中查看 内存及磁盘使用率
  • 6
    Centos7.9版本安装collectd并开启写入rrd文件功能
  • 7
    Centos7.9安装openldap
  • 8
    【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
  • 9
    产品动态丨阿里云计算巢月刊-2025年第1期
  • 10
    云计算，何为云，又何以计算？
  • 1
    MPP 架构与 Hadoop 架构技术选型指南
    103
  • 2
    基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
    50
  • 3
    Flume+Hadoop：打造你的大数据处理流水线
    88
  • 4
    使用Hadoop MapReduce进行大规模数据爬取
    62
  • 5
    linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
    49
  • 6
    【赵渝强老师】基于ZooKeeper实现Hadoop HA
    160
  • 7
    【赵渝强老师】部署Hadoop的本地模式
    94
  • 8
    【赵渝强老师】Hadoop生态圈组件
    346
  • 9
    Hadoop集群管理：向繁琐的计算源创建Say ByeBye
    112
  • 10
    数据湖技术：Hadoop与Spark在大数据处理中的协同作用
    200

    • 相关课程

    更多
  • 高校精品课-长安大学 -基于混合式教学的云计算课程建设
  • 阿里云认证系列精品课程 - 云计算ACP
  • 云计算、容器和云原生基础课程
  • 云计算工程师解析与实战-网络专家篇（体验版）
  • 云计算的前世今生
  • 场景实践 -新手玩转云计算制作一个浪漫的表白网页

    • 相关电子书

    更多
  • 云计算加速开源创新
  • 阿里云认证的解析与实战-云计算ACP认证
  • 云计算公网质量白皮书

    • 相关实验场景

    更多
  • 搭建Hadoop环境
  • 基于CentOS7系统搭建云上博客
  • 基于CentOS快速搭建LAMP环境
  • 基于CentOS8系统搭建云上博客
  • CentOS 8迁移Anolis OS 8

    • 推荐镜像

    更多
  • centos
  • centos-vault
  • centos-altarch
    • 下一篇
    阿里云oss简介和如何对接使用