AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

大数据 | Hadoop集群搭建（完全分布式）

2023-06-06 1088
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： 大数据 | Hadoop集群搭建（完全分布式）

一、前言


大家好，我是初心，这篇文章是我历时三天，推翻重做两小时进行搭建的Hadoop集群（完全分布式）个人笔记和感想，收录于初心的《大数据》专栏。


在集群搭建期间我经历了各种各样的错误，困难和BUG，不过都被我收割了。成功搭建之后，为了加深对Hadoop集群环境搭建的理解，我决定推翻重做，这次重做的过程就顺利多了！终于，历时两小时，我再次搭建好了Hadoop环境，而这篇文章就是我两次搭建总结出来的方法，分享出来希望能帮助到大家。


二、配置三台虚拟机


2.1 克隆三台虚拟机


先从一台虚拟机克隆出三台虚拟机，作为搭建Hadoop完全分布式的三个节点。这里我的三个节点分别叫 hadoop102 hadoop103 hadoop104，克隆这里需要注意的地方：


虚拟机要是关机状态才可以克隆

从虚拟机当前状态克隆

创建完整克隆，之后填写虚拟机名称和存放位置就好


c8b2f5ab0dba403ab140d41ab7b2fc44.png

克隆好之后，分别再修改三台虚拟机的内存如下：

  • hadoop102


79c86fa2160c47e091475770481b3513.png

  • hadoop103


84c7442422c543928b1eb62f3245f634.png

  • hadoop104


e82b3b3fe48b46fc827ad4779990e57c.png


2.2 配置克隆的虚拟机


  • 修改网络配置文件


sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33


48241dafae5145b2a6df1e493b315e00.png

  • 修改主机名
sudo vim /etc/hostname

774bfee454c945ba9f344772cad9bad3.png


  • 修改客户机内容
sudo vim /etc/hosts


59d6790d77264a63871579f8ddb35ea7.png


  • 重启reboot，在另外两台虚拟机并上将步骤再重复两次
sudo reboot


  • Windows配置IP和主机名对应

进入到这个文件夹下，修改hosts文件

C:\Windows\System32\drivers\etc


191fa1fae07c47fda98f90334ad0b0a4.png


将这个文件拖动到桌面，使用记事本打开，进行编辑后放回覆盖原文件。



995898e4e9fb43b0bf8e519d17073681.png


2.3 使用Xshell连接虚拟机


在xshell中新建一个连接，重复三次，分别用xshell连接上三台虚拟机


ef183cdca7ad46a1b22c06dc28f8b0b3.png


至此，创建三个虚拟机节点，以及使用Xshell连接虚拟机工作我们就做好了。这是搭建Hadoop集群前的准备工作，这里我的 hadoop102 hadoop103 hadoopp104 分别对应的ip为 192.168.10.102/103/104.


2.4 配置SSH免密登录


在搭建Hadoop集群之前，我们还要为三台虚拟机搭建免密登录，这是基础，否则后面会不断提示输入密码。这是一个繁琐的操作，因此配置了免密之后我们就可以省略这些步骤，节省时间。


  • 使用hadoop102登录hadoop102
ssh localhost


接下来会提示问题，输入yes就好，之后输入本机的密码，就可以连接上本机。我们登录本机的目的是在 home 目录下生成 .ssh 隐藏文件夹，以便进行下一步操作，下面退出刚才的登录。

exit


进入到ssh文件夹（centos-1是我的普通用户名，如果虚拟机只有root用户，一定要创建一个普通用户，否则找不到这个文件夹）。

cd /home/centos-1/.ssh/


  • 在ssh文件夹下生成私钥

执行下面的命令生成本机的私钥

ssh-keygen -t rsa


执行完这个命令之后，查看当前文件夹的文件，可以看到多出这两个文件


18c480de2d984861a688647851d46913.png


  • 公私钥对拷

执行下面的命令，将Hadoop102的私钥拷贝到Hadoop102 Hadoop103 Hadoop104上

ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104


最后，在Hadoop103，Hadoop104上重复上面的步骤，这样就能实现三台机器之前的相互免密登录。


思考：root用户进行免密登录需不需要输入密码？


答案是要。因为root用户下的.ssh文件夹和普通用户是不一样的，如果想要在 root 用户下还能免密登录，也要重复上面的步骤，个人认为hadoop102的root用户配置了免密就可以了，其他的两台也可以配置


注意，这里是要为Hadoop102的root用户配置hadoop102->hadoop103,hadoop102->hadoop104的免密的，否则后面使用分发脚本可能会提示没有权限，无法分发！


三、Hadoop集群准备


3.1 安装 rsync


安装同步工具rsync，这是安装xsync脚本的基础

sudo yum install -y rsync


3.2 安装xsync分发脚本


  • 查看环境变量


echo $PATH


6a8012b52fbe4441a93ecef527c998d7.png


  • 进入到在PATH中的一个目录
cd /usr/local/bin
  • 复制下面的分发脚本 xsync.sh ，再使用下面的命令创建xsync文件并粘贴，保存退出
sudo vim xsync
  • 分发脚本xsync.sh
#! /bin/bash
# 1.判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Argument!
    exit;
fi
# 2.遍历所有集群机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ==================== $host ===================
    # 3.遍历所有目录，挨个发送
    for file in $@
    do
        # 4.判断文件是否存在
        if [ -e $file ]
            then
                # 5.获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                # 6.获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done


  • 授予可执行权限
sudo chmod 777 xsync


至此，虚拟机的任意目录就可以使用xsync命令。如果不可以使用，则证明安装失败，请仔细检查。


3.3 安装JDK和安装Hadoop


  • 进入centos操作目录
cd /opt
  • 创建JDK和Hadoop的压缩包存放目录和文件存放目录
sudo mkdir module
sudo mkdir software


在Xshell中通过Xftp文件上传工具（或者lrzsz、finalShell等），上传JDK和Hadoop的压缩包到software目录


9d85c49b0b73488894022dd762ac3a21.png


  • 解压JDK和Hadoop到module目录
tar -xzvf jdk-8u202-linux-x64.tar.gz -C /opt/module/
tar -xzvf hadoop-3.1.3.tar.gz -C /opt/module/


3.4 配置环境变量

  • 进入到/etc/profile.d文件夹
cd /etc/profile.d


  • my_env.sh文件
# JAVA_HOME
# 只需修改java_home 因人而异 是自己的jdk安装目录
export JAVA_HOME=/opt/module/jdk1.8.0_202
export PATH=$PATH:$JAVA_HOME/bin
# HADOOP_HOME
# 同理 这里只需修改Hadoop_home，是Hadoop安装目录
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
# 这里是centos-1是用户名 因人而异 改为自己的虚拟机的普通用户名或root
export HDFS_NAMENODE_USER=centos-1
export HDFS_DATANODE_USER=centos-1
export HDFS_SECONDARYNAMENODE_USER=centos-1
export YARN_RESOURCEMANAGER_USER=centos-1
export YARN_NODEMANAGER_USER=centos-1


  • 新建文件my_env.sh，将my_env.sh文件内容复制进来
sudo vim my_env.sh
  • 刷新环境变量
source /etc/profile


  • 测试环境变量是否配置成功
java
hadoop

如果输出一大片信息说明配置好了


3.5 分发


使用xsync将hadoop102的jdk、Hadoop以及环境变量分发到另外两台虚拟机上。

  • 分发JDK和Hadoop
xsync /opt/module/
  • 分发环境变量
xsync /etc/profile.d/my_env.sh


四、Hadoop集群搭建


4.1 修改配置文件


首次搭建Hadoop完全分布式，要分别修改下面四个文件，这里仅展示configuration标签内的内容。

首先进入到Hadoop的etc目录的hadoop目录

cd /opt/module/hadoop-3.1.3/etc/hadoop/
vim core-site.xml


core-site.xml

<configuration>
<!--指定NameNode的地址-->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop102:8020</value>
  <description>version of this configuration file</description>
</property>
<!-- 指定Hadoop数据的存储目录-->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-3.1.3/data</value>
  <description>A base for other temporary directories.</description>
</property>
</configuration>

vim mapred-site.xml

mapred-site.xml

<configuration>
<!-- 指定MapReduce程序运行在Yarn上 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
<name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
</configuration>


vim hdfs-site.xml

hdfs-site.xml

<configuration>
<!-- nn Web端访问地址-->
<property>
  <name>dfs.namenode.http-address</name>
  <value>hadoop102:9870</value>
  <description>
    The address and the base port where the dfs namenode web ui will listen on.
  </description>
</property>
<!-- 2nn Web端访问地址 -->
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop104:9868</value>
</property>
</configuration>

vim yarn-site.xml

yarn-site.xml

<configuration>
<!--指定MR走shuffle-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
<!-- 指定ResourceManager的地址 -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
  </property>    
<!--环境变量的继承-->
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
</configuration>


修改完成之后，退出到hadoop目录

cd /opt/module/hadoop-3.1.3/etc


执行分发，将etc下的hadoop目录的四个配置文件同步

xsync hadoop


4.2 配置workers


进入到配置文件目录

cd /opt/module/hadoop-3.1.3/etc/hadoop/


修改workers文件，将文件内容改成三台主机名即可，之后再次分发，将修改同步。

vim workers

336cbc6cb36b41c388c4735ddd9a3a67.png

xsync /opt/module/hadoop-3.1.3/etc/hadoop/


4.3 格式化集群

在hadoop102上进行格式化

hdfs namenode -format


至此，Hadoop完全分布式（集群）就搭建好了。


4.4 启动集群


下面这张图就是我们搭建的Hadoop集群的集群规划。首先进入到hadoop目录

f9a0a2d8242f4798bb4cf1788277f134.png


cd /opt/module/hadoop-3.1.3/

在Hadoop102启动HDFS（Hadoop分布式文件系统）

sbin/start-dfs.sh


在Hadoop103启动YARN（Hadoop资源调度管理）

sbin/start-yarn.sh


使用jps命令来查看进程，验证是否和集群规划一致。


58fe934bdd29426cbba91ed88256de5b.png6efccb2e52dc4670a3e3707f9b5f1540.pngf701e93853eb42ca8093696684edd292.png


如果按照教程来，执行jps命令得到的结果和上图不一致，请仔细检查是否哪一步出现了问题，再进行下一步。


4.5 关闭集群


首先关闭YARN，再关闭HDFS，至此，Hadoop集群搭建（完全分布式搭建）成功。

sbin/stop-yarn.sh
sbin/stop-dfs.sh


五、结语


学习是一个漫长且持续渐进的过程，其中不免遇到很多困难，有时候让你头痛，让你心慌。有人选择逃避，有人选择全力以赴，希望大家的每一天都变得充实。

文章标签：
云原生大数据计算服务 MaxCompute
云虚拟主机
Java
分布式计算
Linux
Windows
资源调度
网络安全
数据安全/隐私保护
Hadoop
大数据
关键词：
hadoop集群
集群分布式
hadoop大数据
hadoop分布式
云原生大数据计算服务 MaxCompute分布式
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
不写代码！
目录
相关文章
尹正杰
|
7天前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例，详细介绍了如何在Hadoop集群中配置HTTPS，包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件，以及重启Hadoop集群的步骤，并提供了一些常见问题的故障排除方法。
尹正杰
18 3
Hadoop集群配置https实战案例
尹正杰
|
8天前
|
机器学习/深度学习 分布式计算 安全
Hadoop集群常见报错汇总
这篇博客总结了Hadoop集群中可能遇到的各种常见错误，包括Kerberos认证问题、配置错误、权限问题等，并为每个问题提供了详细的错误复现、原因分析以及相应的解决方案。
尹正杰
23 1
Hadoop集群常见报错汇总
尹正杰
|
8天前
|
资源调度 分布式计算 运维
Hadoop集群资源管理篇-资源调度器
详细介绍了Hadoop集群资源管理中的资源调度器，包括资源分配的概念、大数据运维工程师如何管理集群工作负载、资源调度器的背景、Hadoop提供的FIFO、容量调度器和公平调度器三种资源调度器的概述以及它们之间的对比。
尹正杰
37 4
尹正杰
|
8天前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法，包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控，并提供了相关监控工具和资源的推荐阅读链接。
尹正杰
20 2
土木林森
|
11天前
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程：从零开始打造令人惊叹的游戏视觉特效，让你的作品瞬间高大上，附带示例代码与详细步骤解析！
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具，通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果：彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后，利用节点库中的预定义节点，在编辑区连接节点定义着色器行为。
土木林森
42 0
1288912195458132
|
13天前
|
机器学习/深度学习 存储 分布式计算
Hadoop高可用集群搭建
Hadoop高可用集群搭建
1288912195458132
16 2
蓝易云
|
14天前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式：单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前，了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况，选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段，单机模式和伪分布式模式能为用户提供便利和成本效益。进而，当用户要处理大规模数据集时，完全分布式模式将是理想的选择。
蓝易云
35 2
wljslmz
|
11天前
|
存储 分布式计算 负载均衡
为什么需要频繁地删除或添加Hadoop集群中的节点？
【8月更文挑战第31天】
wljslmz
17 0
郑小健
|
14天前
|
存储 分布式计算 资源调度
Hadoop集群的扩展性与容错能力
【8月更文第28天】Hadoop 是一种用于处理和存储大规模数据集的开源软件框架。它由两个核心组件构成：Hadoop 分布式文件系统 (HDFS) 和 MapReduce 计算框架。Hadoop 的设计考虑了可扩展性和容错性，使其成为大规模数据处理的理想选择。
郑小健
31 0
郑小健
|
14天前
|
SQL 分布式计算 数据可视化
基于Hadoop的大数据可视化方法
【8月更文第28天】在大数据时代，有效地处理和分析海量数据对于企业来说至关重要。Hadoop作为一个强大的分布式数据处理框架，能够处理PB级别的数据量。然而，仅仅完成数据处理还不够，还需要将这些数据转化为易于理解的信息，这就是数据可视化的重要性所在。本文将详细介绍如何使用Hadoop处理后的数据进行有效的可视化分析，并会涉及一些流行的可视化工具如Tableau、Qlik等。
郑小健
41 0

热门文章

最新文章

  • 1
    分布式1024节点！1天玩转PolarDB-X超大规模集群
  • 2
    java- 分布式- 一致性哈希算法（2）
  • 3
    redis分布式锁的问题和解决
  • 4
    springboot 高级教程 如何优雅使用redission分布式锁
  • 5
    SpringBoot 分布式session共享方案（并且可实现session在多个项目中共享）
  • 6
    业务系统对消息中间件的要求（接上一篇《分布式消息中间件中的一些概念》）
  • 7
    分布式锁----Redis实现
  • 8
    分布式系统架构中的中间件
  • 9
    整合spring cloud云架构 --spring cloud分布式系统中实现分布式锁
  • 10
    分布式服务框架 Zookeeper -- 管理分布式环境中的数据
  • 1
    大数据组件之Storm简介
    81
  • 2
    大数据处理与分析实战：技术深度剖析与案例分享
    669
  • 3
    矢量数据库与大数据平台的集成：实现高效数据处理
    54
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后，timesramp遇到时区问题，解决方法是什么
    62
  • 5
    DataWorks操作报错合集之DataWorks中udf开发完后，本地和在MaxCompute的工作区可以执行函数查询，但是在datawork里报错FAILED: ODPS-0130071:[2,5]，是什么原因
    65
  • 6
    DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候，遇到报错，该怎么处理
    69
  • 7
    DataWorks操作报错合集之在使用MaxCompute的Java SDK创建函数时，出现找不到文件资源的情况，是BUG吗
    61
  • 8
    DataWorks操作报错合集之在DataWorks数据集成中，但是预览ODPS源数据库为空，是什么导致的
    60
  • 9
    DataWorks操作报错合集之在DataWorks中使用ODPS SQL时遇到"该文件对应引擎实例已失效，请重新选择可用的引擎实例"的错误提示”，是什么导致的
    94
  • 10
    DataWorks产品使用合集之DataWorks一键maxcompute数据同步的操作步骤是什么
    61

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
  • 极氪大数据 Serverless 应用实践

    • 相关实验场景

    更多
  • 搭建Hadoop环境
  • 数据库实验室挑战任务-高级任务
  • 数据库实验室挑战任务-中级任务
  • 数据库实验室挑战任务-初级任务
  • 虎虎生威，挑战云上魔方
  • 云数据库智能化弹性助力电商业务降本增效
    • 下一篇
    DDNS