AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Hadoop安装配置

2022-06-14 314
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 写在前面step1. Hadoop下载step2. Hadoop解压安装step3. 配置环境变量step4. 查看时候配置成功step5. 其他节点的配置step6. 修改六个配置文件6.1 hadoop-env.sh修改 | master节点6.2 core-site.xml修改 | master节点6.3 hdfs-site.xml修改 | master节点6.4 yarn-site.xml修改 | master节点6.5 mapred-site.xml修改 | master节点6.6 workers 修改 | master节点

写在前面


本系列文章索引以及一些默认好的条件在 传送门


所有节点均需要安装并配置Hadoop

一共设置了两个节点，分别是master && slave1

以下配置文件仅为个人配置，具体还请根据自己实际情况添加配置项


step1. Hadoop下载


博主使用的是Hadoop3.1.1，可以去Hadoop官网下载


step2. Hadoop解压安装


将下载后的Hadoop包放置在/usr/local之下，然后使用如下命令：

cd /usr/local
tar -zxvf  /usr/local/hadoop-3.1.1.tar.gz -C /usr/local
cd /usr/local
mv ./hadoop-3.1.1 ./hadoop


具体版本名称根据自己的实际情况来确定

切勿盲目CV


step3. 配置环境变量


使用vim打开文件命令是：vim ~/.bashrc

然后键入i后输入：

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_HOME=$HADOOP_INSTALL


然后保存编辑的内容，按下esc，然后输入:wq!保存并退出

具体版本名称根据自己的实际情况来确定

切勿盲目CV


step4. 查看时候配置成功


命令行输入：

source ~/.bashrc

然后输入hdfs 查看结果

出现下图所示则为成功:

6b0bb9b5272642c9b0a8d84f376ccaf3.png


step5. 其他节点的配置


在其他的节点均操作step1-4


step6. 修改六个配置文件


6.1 hadoop-env.sh修改 | master节点


cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh


然后键入：

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HADOOP_HOME=/usr/local/hadoop
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"


具体版本名称根据自己的实际情况来确定

切勿盲目CV

后保存


6.2 core-site.xml修改 | master节点


该文件在与6.1同级目录下

需要键入：

<property>
    <name>hadoop.tmp.dir</name><value>/usr/hadoop/tmp</value>
  </property>
  <property>
        <name>fs.default.name</name><value>hdfs://master:9000</value>
  </property>
  <property><name>io.file.buffer.size</name><value>131072</value>   
  </property>


需要夹在 <configuration></configuration> 之间


6.3 hdfs-site.xml修改 | master节点


同样在同级目录下使用vim编辑该文件，同样放在<configuration></configuration>之间

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/usr/local/hadoop/hdfs/name/</value>
</property>
<property><name>dfs.blocksize</name><value>268435456</value></property>
<property>
  <name>dfs.namenode.handler.count</name><value>100</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/local/hadoop/hdfs/data/</value>
</property>
<property>
  <name>dfs.namenode.http-address</name><value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>   
  <value>master:50090</value>
</property>


具体版本名称根据自己的实际情况来确定

切勿盲目CV


6.4 yarn-site.xml修改 | master节点


<configuration>
<property>
    <name>yarn.resourcemanager.hostname</name><value>master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
    <property>
    <name>yarn.application.classpath</name>     
<value>/usr/local/hadoop/etc/*,/usr/local/hadoop/lib/*,/usr/local/hadoop/etc/hadoop/*,/usr/local/hadoop/share/hadoop/common/*,/usr/local/hadoop/share/hadoop/common/lib/*,/usr/local/hadoop/share/hadoop/mapreduce/*,usr/local/hadoop/share/hadoop/mapreduce/lib/*,/usr/local/hadoop/share/hadoop/hdfs/*,/usr/local/hadoop/share/hadoop/hdfs/lib/*,/usr/local/hadoop/share/hadoop/yarn/*,/usr/local/hadoop/share/hadoop/yarn/lib/*
    </value>
    </property>
</configuration>


具体版本名称根据自己的实际情况来确定

切勿盲目CV


6.5 mapred-site.xml修改 | master节点


同样在同级目录下，vim编辑键入：

f80fb917e4a744328729011511bce11f.png


具体版本名称根据自己的实际情况来确定

切勿盲目CV


<configuration>
<property>
    <name>mapreduce.Framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>yarn.applicaition.classpath</name>    <value>$HADOOP_HOME/etc/*,$HADOOP_HOME/etc/hadoop/*,$HADOOP_HOME/lib/*,$HADOOP_HOME/share/hadoop/common/*,$HADOOP_HOME/share/hadoop/common/lib/*,$HADOOP_HOME/share/hadoop/mapreduce/*,$HADOOP_HOME/share/hadoop/mapreduce/lib/*,$HADOOP_HOME/share/hadoop/hdfs/*,$HADOOP_HOME/share/hadoop/hdfs/lib/*,$HADOOP_HOME/share/hadoop/yarn/*,$HADOOP_HOME/share/hadoop/yarn/lib/*</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapred.job.history.webapp.address</name>
    <value>master:19888</value>
</property>
<property>
    <name>yarn.nodemanager.aux-service</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>mapred.job.tracker.http.address</name>
    <value>master:50030</value>
</property>
<property>
   <name>mapred.task.tracker.http.address</name>
   <value>master:50060</value>
</property>
<property>
      <name>mapred.job.tracker</name><value>master:9001</value>
      <description>HOST OrIPand port of JobTracker</description>
</property>
<property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.Framework.name</name><value>yarn</value>
</property>
</configuration>


6.6 workers 修改 | master节点


同样在同级目录下面编辑

vim workers

建议去掉localhost，去掉localhost之后在网页中查看信息便不显示master节点

然后键入子节点的名字如：

slave1
slave2


step7. 配置文件的复制


将如上所示的配置文件直接复制到其他节点，因为已经实现了互通以及ssh免密登录，所以说：

scp hadoop-env.sh root@slave1:/usr/local/hadoop/etc/hadoop/
scp core-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp hdfs-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp mapred-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp yarn-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp workers root@slave1:/usr/local/hadoop/etc/hadoop/


如果有多个节点，可以将slave1替换为slave2等


step8. 配置目录的创建


该步骤三个节点均需操作

mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/local/hadoop/hdfs
mkdir /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data


step9. 格式化并启动Hadoop


在各个节点输入

hdfs namenode -format

如果出现：

c0cd2bfb180e41c0bf4153dea4ac3ad4.png


则表明格式化成功

在主机进行：

/usr/local/hadoop/sbin/start-all.sh

然后：

输入jps查看Java进程情况


step10. 浏览器查看集群


在浏览器输入：

master:50070

会显示相信的信息：

766fd707d1bb44cca83036aa7dacb774.png


e53ea45137444e63bb39905287ae9a76.png


若能够查看到每个节点的信息（master,slave1,slave2等）则说明配置成功

如果访问不到或者是访问不强，可以考虑关闭防火墙

文章标签：
Java
开发工具
计算机视觉
分布式计算
索引
Linux
网络安全
Hadoop
云计算
关键词：
CentOS配置
CentOS安装配置
hadoop集群
hadoop安装配置
hadoop集群centos
pushytao
目录
相关文章
蓝易云
|
5月前
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点，看到那个熟悉的Hadoop管理界面时，所有的艰辛都会化为乌有。仔细观察，尽全力，这就是构建高可用Hadoop 3集群的挑战之旅。
蓝易云
204 21
蓝易云
|
6月前
|
Java Linux
CentOS环境搭建Elasticsearch集群
至此，您已成功在CentOS环境下搭建了Elasticsearch集群。通过以上介绍和步骤，相信您对部署Elasticsearch集群有了充分的了解。最后祝您在使用Elasticsearch集群的过程中顺利开展工作！
蓝易云
356 22
武子康
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
武子康
458 6
明弟有理想
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群，包括一个主节点和两个工作节点。各节点运行CentOS 7系统，最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl，以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
明弟有理想
894 4
武子康
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
武子康
266 4
武子康
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
武子康
130 3
武子康
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
武子康
165 3
武子康
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
武子康
212 1
承慕
|
5月前
|
人工智能 运维 安全
中企出海大会｜打造全球化云计算一张网，云网络助力中企出海和AI创新
阿里云网络作为全球化战略的重要组成部分，致力于打造具备AI技术服务能力和全球竞争力的云计算网络。通过高质量互联网服务、全球化网络覆盖等措施，支持企业高效出海。过去一年，阿里云持续加大基础设施投入，优化海外EIP、GA产品，强化金融科技与AI场景支持。例如，携程、美的等企业借助阿里云实现业务全球化；同时，阿里云网络在弹性、安全及性能方面不断升级，推动中企迎接AI浪潮并服务全球用户。
承慕
941 8
shuj
|
10月前
|
存储 安全 网络安全
云计算与网络安全：技术融合的双刃剑
在数字化浪潮中，云计算如同一股不可阻挡的力量，推动着企业和个人用户步入一个高效、便捷的新时代。然而，随之而来的网络安全问题也如影随形，成为制约云计算发展的阿喀琉斯之踵。本文将探讨云计算服务中的网络安全挑战，揭示信息保护的重要性，并提供实用的安全策略，旨在为读者呈现一场技术与安全的较量，同时指出如何在享受云服务带来的便利的同时，确保数据的安全和隐私。
shuj
217 6

热门文章

最新文章

  • 1
    云计算与云原生技术探索
  • 2
    安装篇--CentOS 7 虚拟机安装
  • 3
    CentOS 7 yum 安装 MySQL教程
  • 4
    阿里云国际站2025年最新动态：全球云计算加速，中小企业出海利器
  • 5
    上云就上阿里云背后：云计算已成为新旧动能转换关键
  • 6
    阿里云成为MariaDB基金会白金会员 全球唯一入选云计算公司
  • 7
    工信部：将加快云计算关键急需标准制定
  • 8
    【云计算】CentOS7 上配置Openstack（单机）bug记录
  • 9
    IBM安全专家：万维网、web2.0及云计算都不安全
  • 10
    2022云栖精选—阿里巴巴应用IPv6规模化部署 面向云计算与互联网业务的IPv6技术研发及应用
  • 1
    Centos7 安装和配置 Redis 5 教程
    1342
  • 2
    倒计时 1 天！「飞天技术沙龙-CentOS 迁移替换专场」演讲亮点一览
    159
  • 3
    报名倒计时！「飞天技术沙龙-CentOS 迁移替换专场」参会指南
    141
  • 4
    Linux（CentOS7.5） 安装部署 Python3.6（超详细！包含 Yum 源配置！）
    3480
  • 5
    Hyper-V 安装 CentOS 8.5
    602
  • 6
    蓝易云 - 在CentOS7/RHEL7上安装OpenSSL1.1.x教程
    729
  • 7
    CentOs8系统安装mailx发邮件
    177
  • 8
    用UltraIOS制作CentOS U盘安装盘图文教程
    831
  • 9
    centos7部分桥接网络ping不通解决方案
    576
  • 10
    Centos7 mysql和sqoop数据迁移
    156

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 推荐镜像

    更多
  • centos
  • centos-vault
  • centos-altarch
    • 下一篇
    阿里云oss简介和如何对接使用