在Linux系统上安装Hadoop的详细步骤

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 【1月更文挑战第4天】在Linux系统上安装Hadoop的详细步骤

以下是在Linux系统上安装Hadoop的详细步骤:

  1. 下载Hadoop文件
    在Hadoop官方网站上下载最新的稳定版本的Hadoop文件。下载地址:https://hadoop.apache.org/releases.html

  2. 解压Hadoop文件
    打开终端,使用以下命令将下载的Hadoop文件解压到指定目录:

    tar -xzvf hadoop-X.X.X.tar.gz -C /usr/local/
    
  3. 配置环境变量
    打开终端,使用以下命令打开配置文件:

    sudo nano ~/.bashrc
    

    在配置文件里添加以下内容:

    # Hadoop相关路径配置
    export HADOOP_HOME=/usr/local/hadoop-X.X.X
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    

    保存并关闭配置文件,然后运行以下命令使配置生效:

    source ~/.bashrc
    
  4. 配置Hadoop
    进入Hadoop安装目录,并编辑配置文件:

    cd /usr/local/hadoop-X.X.X/etc/hadoop/
    sudo nano hadoop-env.sh
    

    将以下代码行:

    export JAVA_HOME=${JAVA_HOME}
    

    修改为:

    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    

    保存并关闭文件。

  5. 配置Hadoop集群
    打开core-site.xml文件:

    sudo nano core-site.xml
    

    在\和\之间添加以下内容:

    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop-X.X.X/tmp</value>
    </property>
    

    保存并关闭文件。

  6. 配置HDFS
    打开hdfs-site.xml文件:

    sudo nano hdfs-site.xml
    

    在\和\之间添加以下内容:

    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/usr/local/hadoop-X.X.X/hadoop_data/hdfs/namenode</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/usr/local/hadoop-X.X.X/hadoop_data/hdfs/datanode</value>
    </property>
    

    保存并关闭文件。

  7. 配置YARN
    打开yarn-site.xml文件:

    sudo nano yarn-site.xml
    

    在\和\之间添加以下内容:

    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>localhost</value>
    </property>
    

    保存并关闭文件。

  8. 格式化Hadoop文件系统
    运行以下命令:

    hdfs namenode -format
    
  9. 启动Hadoop集群
    运行以下命令:

    start-dfs.sh
    start-yarn.sh
    

    您可以使用以下命令检查Hadoop是否成功启动:

    jps
    

    如果一切正常,应该能够看到NameNode、DataNode、ResourceManager和NodeManager等进程。

现在,Hadoop已经成功安装在您的Linux系统上。

相关文章
|
2月前
|
Ubuntu Linux
任何Ubuntu用户都应安装的四大Linux应用程序
当然,这款程序不需要太多介绍。我们面对的是网上最庞大最完整的多媒体中心,由于丰富的插件,我们能够高度细化地定制其每一项功能。这是我们的Linux发行版不可或缺的必备软件。 我们可以通过运行以下命令来轻松安装Kodi:sudo apt install kodi。
|
2月前
|
Ubuntu 物联网 Linux
从零安装一个Linux操作系统几种方法,以Ubuntu18.04为例
一切就绪后,我们就可以安装操作系统了。当系统通过优盘引导起来之后,我们就可以看到跟虚拟机中一样的安装向导了。之后,大家按照虚拟机中的顺序安装即可。 好了,今天主要介绍了Ubuntu Server版操作系统的安装过程,关于如何使用该操作系统,及操作系统更深层的原理,还请关注本号及相关圈子。
|
2月前
|
弹性计算 安全 Linux
阿里云服务器ECS安装宝塔Linux面板、安装网站(新手图文教程)
本教程详解如何在阿里云服务器上安装宝塔Linux面板,涵盖ECS服务器手动安装步骤,包括系统准备、远程连接、安装命令执行、端口开放及LNMP环境部署,手把手引导用户快速搭建网站环境。
|
2月前
|
安全 Ubuntu Linux
如何安装Linux操作系统?
此时,您可以选择重新启动计算机,然后从硬盘上的Linux系统启动。以上是一个大致的安装过程。请注意,不同的Linux发行版可能会在细节上有所差异,因此在进行安装之前,请确保您阅读并理解了相应发行版的安装指南或文档。
|
2月前
|
Ubuntu Linux 数据安全/隐私保护
Win10安装Linux子系统教程!如何在Win10系统中安装Ubuntu!
登录系统后,输入cd /返回上一级,然后再输入“ls”查看一下系统文件目录,看看对不对!
|
2月前
|
Ubuntu Linux Shell
手把手教你安装适用于Linux的Windows子系统——Ubuntu
重启完成,你看看重新打开Ubuntu是不是发生了变化,等待几分钟,系统配置完成,根据提示设置用户名和密码即可
|
2月前
|
存储 Ubuntu Linux
安卓手机免root安装各种Linux系统:Ubuntu, Centos,Kali等
此外还可以安装Slackware、Archstrike等系统,还可以通过github查找方法安装更多有趣的东西。 昨日小编就是通过Termux安装的Kali Linux工具包。
|
2月前
|
Ubuntu 网络协议 Unix
在虚拟机中安装Linux Ubuntu系统指南
通过点击【浏览】按钮,您可以更改Ubuntu的安装位置。为确保系统稳定,建议避免将Ubuntu安装在C盘。您可以在D盘或其他磁盘中创建一个名为“ubuntu”的文件夹,并选择该文件夹作为安装位置,然后点击【下一步】继续。
|
2月前
|
Ubuntu Linux 数据安全/隐私保护
Windows上快速安装Linux子系统Ubuntu
Installing, this may take a few minutes...WslRegisterDistribution failed with error: 0x800701bcError: 0x800701bc WSL 2 ?????????????????? https://aka.ms/wsl2kernelPress any key to continue... 原因是 wsl1 升级到 wsl2 之后,内核却没有升级。 解决:下载最新的wsl安装包(wsl安装包)
|
2月前
|
Ubuntu Unix Linux
玩机强化技能,动手安装Ubuntu Linux操作系统
(13)Ubuntu重启过程中,你将在关机画面中看到提示文字“Please remove the installation medium, then press ENTER:”,按下“Enter”键即可重启电脑。