hadoop系列——linux hadoop安装

简介: hadoop系列——linux hadoop安装

一、安装模式

1.单机版本

2.伪分布式

3.完全分布式

二、安装过程

1.java jdk 安装

2.hadoop安装

(1)单机版 standalone

步骤一:下载 Apache Hadoop

步骤二:配置使用java

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

步骤三:修改hdfs的配置文件

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/core-site.xml
<configuration>
<!-- 指定HDFS老大(namenode)的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径(本地路径即可) -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/xiaoqiu/alibaba/soft/bigData/tmp</value>
    </property>
</configuration>

步骤四:设置

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<configuration>
     <!--设置hdfs副本数量-->
     <property>
     <name>dfs.replication</name>
     <value>2</value>
     </property>
</configuration>

步骤五:ssh localhost配置

步骤五:启动与停止

第一次启动得格式化

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/bin/hdfs namenode -format

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/sbin/start-dfs.s

jps

成功:

http://localhost:50070/

hadoop 命令安装

解决方法

1. cd /etc/profile

2. 把这三条加到proflie文件的最后

export JAVA_HOME=XXXX(在安装了jdk的前提下,echo $JAVA_HOME可以查看得到)

export HADOOP_HOME=XXX(hadoop的安装路径)

export PATH=.:HADOOPHOME/bin:HADOOP_HOME/bin:JAVA_HOME/bin:$PATH


完成后保存文件, 更新环境变量

source /etc/profile

 

参考:

安装Hadoop(单机)

SSH localhost免密码后依然需要输入密码问题的解决_Linux教程

Hadoop2.7.0伪分布式安装教程


相关文章
|
2月前
|
Linux 测试技术 网络安全
Linux系统之安装OneNav个人书签管理器
【10月更文挑战第19天】Linux系统之安装OneNav个人书签管理器
114 5
Linux系统之安装OneNav个人书签管理器
|
2月前
|
监控 Java Linux
Linux系统之安装Ward服务器监控工具
【10月更文挑战第17天】Linux系统之安装Ward服务器监控工具
55 5
Linux系统之安装Ward服务器监控工具
|
19天前
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch
本文详细介绍了在 Rocky Linux 8 上安装和配置 Elasticsearch 的步骤,包括添加仓库、安装 Elasticsearch、配置文件修改、设置内存和文件描述符、启动和验证 Elasticsearch,以及常见问题的解决方法。通过这些步骤,你可以快速搭建起这个强大的分布式搜索和分析引擎。
34 5
|
2月前
|
JSON JavaScript Linux
Linux系统之安装cook菜谱工具
【10月更文挑战第15天】Linux系统之安装cook菜谱工具
38 2
Linux系统之安装cook菜谱工具
|
2月前
|
Ubuntu Linux 测试技术
Linux系统之Ubuntu安装cockpit管理工具
【10月更文挑战第13天】Linux系统之Ubuntu安装cockpit管理工具
151 4
Linux系统之Ubuntu安装cockpit管理工具
|
1月前
|
消息中间件 Linux RocketMQ
在Red Hat Enterprise Linux 9上使用Docker快速安装并部署
通过以上步骤,你可以在Red Hat Enterprise Linux 9上使用Docker快速安装并部署RocketMQ。这种方法不仅简化了安装过程,还提供了一个灵活的环境来管理和扩展消息队列系统。RocketMQ作为一款高性能的分布式消息系统,通过Docker可以实现快速部署和高效管理。
58 2
|
1月前
|
消息中间件 Linux RocketMQ
在Red Hat Enterprise Linux 9上使用Docker快速安装并部署
通过以上步骤,你可以在Red Hat Enterprise Linux 9上使用Docker快速安装并部署RocketMQ。这种方法不仅简化了安装过程,还提供了一个灵活的环境来管理和扩展消息队列系统。RocketMQ作为一款高性能的分布式消息系统,通过Docker可以实现快速部署和高效管理。
37 3
|
15天前
|
存储 缓存 Linux
【Linux】另一种基于rpm安装yum的方式
通过本文的方法,您可以在离线环境中使用RPM包安装YUM并进行必要的配置。这种方法适用于无法直接访问互联网的服务器或需要严格控制软件源的环境。通过配置本地YUM仓库,确保了软件包的安装和更新可以顺利进行。希望本文能够为您在特定环境中部署YUM提供实用的指导。
99 0
|
21天前
|
关系型数据库 MySQL Linux
Linux-安装Mariadb
本文介绍了在 Alibaba Cloud Linux 系统上安装和配置 MariaDB 10.5 的步骤。包括下载安装、初始化数据库、启动服务、处理启动失败的常见问题(如权限问题),以及如何连接数据库、设置密码和允许外部连接。通过这些步骤,您可以顺利完成 MariaDB 的安装和基本配置。
37 0
|
2月前
|
Linux 网络安全 虚拟化
适用于Linux的Windows子系统(WSL1)的安装与使用记录
并放到启动文件夹,就可以开机自动启动了。
58 0