hadoop系列——linux hadoop安装

简介: hadoop系列——linux hadoop安装

一、安装模式

1.单机版本

2.伪分布式

3.完全分布式

二、安装过程

1.java jdk 安装

2.hadoop安装

(1)单机版 standalone

步骤一:下载 Apache Hadoop

步骤二:配置使用java

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

步骤三:修改hdfs的配置文件

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/core-site.xml
<configuration>
<!-- 指定HDFS老大(namenode)的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径(本地路径即可) -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/xiaoqiu/alibaba/soft/bigData/tmp</value>
    </property>
</configuration>

步骤四:设置

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<configuration>
     <!--设置hdfs副本数量-->
     <property>
     <name>dfs.replication</name>
     <value>2</value>
     </property>
</configuration>

步骤五:ssh localhost配置

步骤五:启动与停止

第一次启动得格式化

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/bin/hdfs namenode -format

/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/sbin/start-dfs.s

jps

成功:

http://localhost:50070/

hadoop 命令安装

解决方法

1. cd /etc/profile

2. 把这三条加到proflie文件的最后

export JAVA_HOME=XXXX(在安装了jdk的前提下,echo $JAVA_HOME可以查看得到)

export HADOOP_HOME=XXX(hadoop的安装路径)

export PATH=.:HADOOPHOME/bin:HADOOP_HOME/bin:JAVA_HOME/bin:$PATH


完成后保存文件, 更新环境变量

source /etc/profile

 

参考:

安装Hadoop(单机)

SSH localhost免密码后依然需要输入密码问题的解决_Linux教程

Hadoop2.7.0伪分布式安装教程


相关文章
|
10天前
|
缓存 Linux 测试技术
安装【银河麒麟V10】linux系统--并挂载镜像
安装【银河麒麟V10】linux系统--并挂载镜像
61 0
|
10天前
|
Linux C语言
linux yum安装ffmpeg 图文详解
linux yum安装ffmpeg 图文详解
28 0
|
10天前
|
NoSQL Linux Redis
linux 下和win下安装redis 并添加开机自启 图文详解
linux 下和win下安装redis 并添加开机自启 图文详解
15 0
|
10天前
|
Linux
linux yum 安装rar和unrar
linux yum 安装rar和unrar
35 0
|
3天前
|
关系型数据库 MySQL Linux
Linux联网安装MySQL Server
Linux联网安装MySQL Server
13 0
|
10天前
|
Java Linux 开发工具
linux jdk的安装
linux jdk的安装
16 0
|
18天前
|
Ubuntu Linux 虚拟化
【Linux】ubuntu安装samba服务器
【Linux】ubuntu安装samba服务器
|
18天前
|
NoSQL Linux Redis
Linux安装Redis
Linux安装Redis
26 0
|
19天前
|
Linux
Linux安装bind9搭建自己的域名服务器
Linux安装bind9搭建自己的域名服务器
11 0
|
22天前
|
应用服务中间件 Linux PHP
Linux下安装php环境并且配置Nginx支持php-fpm模块
Linux下安装php环境并且配置Nginx支持php-fpm模块
18 0