hadoop系列——linux hadoop安装

简介: hadoop系列——linux hadoop安装

一、安装模式

1.单机版本

2.伪分布式

3.完全分布式

二、安装过程

1.java jdk 安装

2.hadoop安装

(1)单机版 standalone

步骤一:下载 Apache Hadoop

步骤二:配置使用java

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

步骤三:修改hdfs的配置文件

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/core-site.xml
<configuration>
<!-- 指定HDFS老大(namenode)的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径(本地路径即可) -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/xiaoqiu/alibaba/soft/bigData/tmp</value>
    </property>
</configuration>

步骤四:设置

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<configuration>
     <!--设置hdfs副本数量-->
     <property>
     <name>dfs.replication</name>
     <value>2</value>
     </property>
</configuration>

步骤五:ssh localhost配置

步骤五:启动与停止

第一次启动得格式化

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/bin/hdfs namenode -format

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/sbin/start-dfs.s

jps

成功:

http://localhost:50070/

hadoop 命令安装

解决方法

1. cd /etc/profile

2. 把这三条加到proflie文件的最后

export JAVA_HOME=XXXX(在安装了jdk的前提下,echo $JAVA_HOME可以查看得到)

export HADOOP_HOME=XXX(hadoop的安装路径)

export PATH=.:HADOOPHOME/bin:HADOOP_HOME/bin:JAVA_HOME/bin:$PATH


完成后保存文件, 更新环境变量

source /etc/profile

 

参考:

安装Hadoop(单机)

SSH localhost免密码后依然需要输入密码问题的解决_Linux教程

Hadoop2.7.0伪分布式安装教程


相关文章
|
18天前
|
Linux
手把手教会你安装Linux系统
手把手教会你安装Linux系统
|
10天前
|
Linux 测试技术 网络安全
Linux系统之安装OneNav个人书签管理器
【10月更文挑战第19天】Linux系统之安装OneNav个人书签管理器
32 5
Linux系统之安装OneNav个人书签管理器
|
12天前
|
监控 Java Linux
Linux系统之安装Ward服务器监控工具
【10月更文挑战第17天】Linux系统之安装Ward服务器监控工具
31 5
Linux系统之安装Ward服务器监控工具
|
14天前
|
JSON JavaScript Linux
Linux系统之安装cook菜谱工具
【10月更文挑战第15天】Linux系统之安装cook菜谱工具
32 2
Linux系统之安装cook菜谱工具
|
16天前
|
Ubuntu Linux 测试技术
Linux系统之Ubuntu安装cockpit管理工具
【10月更文挑战第13天】Linux系统之Ubuntu安装cockpit管理工具
63 4
Linux系统之Ubuntu安装cockpit管理工具
|
17天前
|
Linux 网络安全 数据安全/隐私保护
Linux系统之Centos7安装cockpit图形管理界面
【10月更文挑战第12天】Linux系统之Centos7安装cockpit图形管理界面
44 1
Linux系统之Centos7安装cockpit图形管理界面
|
6天前
|
消息中间件 Linux RocketMQ
在Red Hat Enterprise Linux 9上使用Docker快速安装并部署
通过以上步骤,你可以在Red Hat Enterprise Linux 9上使用Docker快速安装并部署RocketMQ。这种方法不仅简化了安装过程,还提供了一个灵活的环境来管理和扩展消息队列系统。RocketMQ作为一款高性能的分布式消息系统,通过Docker可以实现快速部署和高效管理。
22 2
|
7天前
|
消息中间件 Linux RocketMQ
在Red Hat Enterprise Linux 9上使用Docker快速安装并部署
通过以上步骤,你可以在Red Hat Enterprise Linux 9上使用Docker快速安装并部署RocketMQ。这种方法不仅简化了安装过程,还提供了一个灵活的环境来管理和扩展消息队列系统。RocketMQ作为一款高性能的分布式消息系统,通过Docker可以实现快速部署和高效管理。
16 3
|
18天前
|
Ubuntu 关系型数据库 MySQL
Linux系统MySQL安装
【10月更文挑战第19天】本文介绍了在 Linux 系统上安装 MySQL 的步骤,包括安装前准备、安装 MySQL、启动 MySQL 服务、配置 MySQL 以及验证安装。适用于 Ubuntu/Debian 和 CentOS/Fedora 系统,提供了详细的命令示例。
102 1
|
9天前
|
Linux 网络安全 虚拟化
适用于Linux的Windows子系统(WSL1)的安装与使用记录
并放到启动文件夹,就可以开机自动启动了。
13 0