在Linux系统上安装Hadoop的详细步骤

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 【1月更文挑战第4天】在Linux系统上安装Hadoop的详细步骤

以下是在Linux系统上安装Hadoop的详细步骤:

  1. 下载Hadoop文件
    在Hadoop官方网站上下载最新的稳定版本的Hadoop文件。下载地址:https://hadoop.apache.org/releases.html

  2. 解压Hadoop文件
    打开终端,使用以下命令将下载的Hadoop文件解压到指定目录:

    tar -xzvf hadoop-X.X.X.tar.gz -C /usr/local/
    
  3. 配置环境变量
    打开终端,使用以下命令打开配置文件:

    sudo nano ~/.bashrc
    

    在配置文件里添加以下内容:

    # Hadoop相关路径配置
    export HADOOP_HOME=/usr/local/hadoop-X.X.X
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    

    保存并关闭配置文件,然后运行以下命令使配置生效:

    source ~/.bashrc
    
  4. 配置Hadoop
    进入Hadoop安装目录,并编辑配置文件:

    cd /usr/local/hadoop-X.X.X/etc/hadoop/
    sudo nano hadoop-env.sh
    

    将以下代码行:

    export JAVA_HOME=${JAVA_HOME}
    

    修改为:

    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    

    保存并关闭文件。

  5. 配置Hadoop集群
    打开core-site.xml文件:

    sudo nano core-site.xml
    

    在\和\之间添加以下内容:

    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop-X.X.X/tmp</value>
    </property>
    

    保存并关闭文件。

  6. 配置HDFS
    打开hdfs-site.xml文件:

    sudo nano hdfs-site.xml
    

    在\和\之间添加以下内容:

    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/usr/local/hadoop-X.X.X/hadoop_data/hdfs/namenode</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/usr/local/hadoop-X.X.X/hadoop_data/hdfs/datanode</value>
    </property>
    

    保存并关闭文件。

  7. 配置YARN
    打开yarn-site.xml文件:

    sudo nano yarn-site.xml
    

    在\和\之间添加以下内容:

    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>localhost</value>
    </property>
    

    保存并关闭文件。

  8. 格式化Hadoop文件系统
    运行以下命令:

    hdfs namenode -format
    
  9. 启动Hadoop集群
    运行以下命令:

    start-dfs.sh
    start-yarn.sh
    

    您可以使用以下命令检查Hadoop是否成功启动:

    jps
    

    如果一切正常,应该能够看到NameNode、DataNode、ResourceManager和NodeManager等进程。

现在,Hadoop已经成功安装在您的Linux系统上。

相关文章
|
1天前
|
Linux Perl
Linux系统替换字符串常用命令
请注意,`sed`命令可以非常强大,可以根据不同的需求使用不同的选项和正则表达式来进行更复杂的字符串替换操作。
8 0
|
2天前
|
Linux
ZooKeeper的安装(Linux版)
ZooKeeper的安装(Linux版)
15 1
|
2天前
|
NoSQL Linux 测试技术
Redis的安装(Linux版)
Redis的安装(Linux版)
22 1
|
2天前
|
应用服务中间件 Linux 网络安全
Tomcat的安装(Linux版)
Tomcat的安装(Linux版)
14 0
|
3天前
|
Ubuntu 安全 Linux
《Linux 简易速速上手小册》第1章: Linux 系统基础(2024 最新版)
《Linux 简易速速上手小册》第1章: Linux 系统基础(2024 最新版)
31 1
|
5天前
|
关系型数据库 MySQL Linux
Linux联网安装MySQL Server
Linux联网安装MySQL Server
17 0
|
6天前
|
运维 网络协议 Unix
18.系统知识-Linux常用命令
18.系统知识-Linux常用命令
|
10天前
|
资源调度 JavaScript 搜索推荐
Linux系统之部署envlinks极简个人导航页
【4月更文挑战第11天】Linux系统之部署envlinks极简个人导航页
52 2
|
10天前
|
存储 算法 Linux
【实战项目】网络编程:在Linux环境下基于opencv和socket的人脸识别系统--C++实现
【实战项目】网络编程:在Linux环境下基于opencv和socket的人脸识别系统--C++实现
29 6
|
11天前
|
分布式计算 资源调度 监控
Hadoop生态系统深度剖析:面试经验与必备知识点解析
本文深入探讨了Hadoop生态系统的面试重点,涵盖Hadoop架构、HDFS、YARN和MapReduce。了解Hadoop的主从架构、HDFS的读写流程及高级特性,YARN的资源管理与调度,以及MapReduce编程模型。通过代码示例,如HDFS文件操作和WordCount程序,帮助读者巩固理解。此外,文章强调在面试中应结合个人经验、行业动态和技术进展展示技术实力。