hadoop系列——linux hadoop安装

简介: hadoop系列——linux hadoop安装

一、安装模式

1.单机版本

2.伪分布式

3.完全分布式

二、安装过程

1.java jdk 安装

2.hadoop安装

(1)单机版 standalone

步骤一:下载 Apache Hadoop

步骤二:配置使用java

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

步骤三:修改hdfs的配置文件

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/core-site.xml
<configuration>
<!-- 指定HDFS老大(namenode)的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径(本地路径即可) -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/xiaoqiu/alibaba/soft/bigData/tmp</value>
    </property>
</configuration>

步骤四:设置

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<configuration>
     <!--设置hdfs副本数量-->
     <property>
     <name>dfs.replication</name>
     <value>2</value>
     </property>
</configuration>

步骤五:ssh localhost配置

步骤五:启动与停止

第一次启动得格式化

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/bin/hdfs namenode -format

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/sbin/start-dfs.s

jps

成功:

http://localhost:50070/

hadoop 命令安装

解决方法

1. cd /etc/profile

2. 把这三条加到proflie文件的最后

export JAVA_HOME=XXXX(在安装了jdk的前提下,echo $JAVA_HOME可以查看得到)

export HADOOP_HOME=XXX(hadoop的安装路径)

export PATH=.:HADOOPHOME/bin:HADOOP_HOME/bin:JAVA_HOME/bin:$PATH


完成后保存文件, 更新环境变量

source /etc/profile

 

参考:

安装Hadoop(单机)

SSH localhost免密码后依然需要输入密码问题的解决_Linux教程

Hadoop2.7.0伪分布式安装教程


相关文章
|
9天前
|
安全 Linux iOS开发
Nessus Professional 10.10 Auto Installer for RHEL 10, AlmaLinux 10, Rocky Linux 10 - Nessus 自动化安装程序
Nessus Professional 10.10 Auto Installer for RHEL 10, AlmaLinux 10, Rocky Linux 10 - Nessus 自动化安装程序
61 6
Nessus Professional 10.10 Auto Installer for RHEL 10, AlmaLinux 10, Rocky Linux 10 - Nessus 自动化安装程序
|
2月前
|
Ubuntu Linux
计算机基础知识:linux系统怎么安装?
在虚拟机软件中创建一个新的虚拟机,并选择相应操作系统类型和硬盘空间大小等参数。将下载的 ISO 镜像文件加载到虚拟机中。启动虚拟机,进入安装界面,并按照步骤进行安装。安装完成后,可以在虚拟机中使用 Linux 系统。
|
9天前
|
消息中间件 Kafka Linux
Linux下安装Kafka 3.9.1
本文介绍Kafka 3.9.1版本的安装与配置,包括通过ZooKeeper或KRaft模式启动Kafka。涵盖环境变量设置、日志路径修改、集群UUID生成、存储格式化及服务启停操作,适用于Linux环境下的部署实践。
135 0
|
2月前
|
网络协议 关系型数据库 Linux
【App Service Linux】在Linux App Service中安装 tcpdump 并抓取网络包
在App Service for Linux环境中,无法像Windows一样直接使用网络排查工具抓包。本文介绍了如何通过TCPDUMP在Linux环境下抓取网络包,包括SSH进入容器、安装tcpdump、执行抓包命令及下载分析文件的完整操作步骤。
159 5
|
2月前
|
弹性计算 安全 Linux
阿里云服务器ECS安装宝塔Linux面板、安装网站(新手图文教程)
本教程详解如何在阿里云服务器上安装宝塔Linux面板,涵盖ECS服务器手动安装步骤,包括系统准备、远程连接、安装命令执行、端口开放及LNMP环境部署,手把手引导用户快速搭建网站环境。
|
2月前
|
Ubuntu 安全 Linux
Linux这5款微型发行版,体积小+精简,比win7运行还快,值得安装
以上5款微型发行版体积小且精简,如果你有台旧电脑,不妨试试?
|
2月前
|
安全 Ubuntu Linux
如何安装Linux操作系统?
此时,您可以选择重新启动计算机,然后从硬盘上的Linux系统启动。以上是一个大致的安装过程。请注意,不同的Linux发行版可能会在细节上有所差异,因此在进行安装之前,请确保您阅读并理解了相应发行版的安装指南或文档。
|
2月前
|
Ubuntu Linux 数据安全/隐私保护
Win10安装Linux子系统教程!如何在Win10系统中安装Ubuntu!
登录系统后,输入cd /返回上一级,然后再输入“ls”查看一下系统文件目录,看看对不对!
|
2月前
|
Ubuntu Linux Shell
手把手教你安装适用于Linux的Windows子系统——Ubuntu
重启完成,你看看重新打开Ubuntu是不是发生了变化,等待几分钟,系统配置完成,根据提示设置用户名和密码即可