hadoop伪分布式2.4.1安装

本文涉及的产品
云防火墙,500元 1000GB
简介:

一、准备:

1、修改主机名:

vi /etc/sysconfig/network内容如下:

NETWORKING=yes

HOSTNAME=myHadoop

2、修改主机名和IP的映射关系,即hosts文件:

vi /etc/hosts

192.168.127.150 myHadoop

3、关闭防火墙:

    3.1、查看防火墙状态

    service iptables status

    3.2、关闭防火墙

    service iptables stop

    3.3、查看防火墙开机启动状态

    chkconfig iptables --list

    3.4、关闭防火墙开机启动

    chkconfig iptables off

4、重启Linux:

    reboot/shutdown -r now

二、安装JDK:

1、解压:

tar -zxvf jdk-7u55-linux-i586.tar.gz -C /opt/tool

2、将java添加到环境变量中:

sudo vi /etc/profile

#在文件最后添加

export JAVA_HOME=/opt/tool/jdk-7u_65-i585

export PATH=$PATH:$JAVA_HOME/bin

#刷新配置

source /etc/profile

#验证:java -version


java version "1.7.0_65"

Java(TM) SE Runtime Environment (build 1.7.0_65-b17)

Java HotSpot(TM) Client VM (build 24.65-b04, mixed mode)


三、安装hadoop2.4.1:

1、解压:

tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool

2、将hadoop添加到环境变量中

sudo vi /etc/profile

#在文件最后添加

export HADOOP_HOME=/opt/tool/hadoop-2.4.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#刷新配置

source /etc/profile

#验证:hadoop version


Hadoop 2.4.1

Subversion http://svn.apache.org/repos/asf/hadoop/common -r 1604318

Compiled by jenkins on 2014-06-21T05:43Z

Compiled with protoc 2.5.0

From source with checksum bb7ac0a3c73dc131f4844b873c74b630

This command was run using /opt/tool/hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar


3、配置hadoop:

3.1:hadoop-env.sh

vim hadoop-env.sh

#第27行

export JAVA_HOME=/opt/tool/jdk-7u_65-i585

3.2:core-site.xml

<!-- 指定HADOOP所使用的文件系统URI,HDFS的老大(NameNode)的地址 -->

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://hadoopnode0:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

    <name>hadoop.tmp.dir</name>

    <value>/opt/tool/hadoop-2.4.1/tmp</value>

</property>

3.3:hdfs-site.xml   hdfs-default.xml  (3)

<!-- 指定HDFS副本的数量 -->

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

3.4:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

3.5:yarn-site.xml

<!-- 指定YARN的老大(ResourceManager)的地址 -->

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>hadoopnode0</value>

 </property>

<!-- reducer获取数据的方式 -->

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

</property>


3.6:格式化namenode

(是对namenode进行初始化,只有在第一次安装时执行格式化,切记切记,否则数据丢失。)

hdfs namenode -format (或者hadoop namenode -format)


3.7:启动hadoop:

#先启动HDFS:start-dfs.sh,启动了一下进程:

    NameNode 

    SecondaryNameNode 

    DataNode

#再启动YARN:start-yarn.sh,启动了一下进程

    NodeManager         

    ResourceManager


3.8:验证是否启动成功

使用jps命令验证

22303 NameNode

22216 Jps

27643 SecondaryNameNode

25566 NodeManager

25603 ResourceManager

27812 DataNode

http://192.168.1.201:50070 (HDFS管理界面)

http://192.168.1.201:8088 (MR管理界面)

4、NameNode:

是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,

文件/目录的元数据信息和每个文件对应的数据库列表。接收用户的操作请求。

元数据信息保存在fsimage和edit中,fsimage保存的是合并后的元数据信息,而edit保存的是实时的元数据信息。

5、DataNode:

提供真实文件数据的存储服务。文件存储时,是以block为单位进行存储的。

文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,

那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块

称为一个block。HDFS默认block大小为128MB,以一个256MB文件为例,可以分割为2个Block。

6、SecondaryNameNode :

    用来合并fsimage和edit。














本文转自lzf0530377451CTO博客,原文链接: http://blog.51cto.com/8757576/1827475,如需转载请自行联系原作者





相关文章
|
5月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
126 0
|
11月前
|
SQL 分布式计算 Hadoop
大数据行业部署实战1:Hadoop伪分布式部署
大数据行业部署实战1:Hadoop伪分布式部署
355 0
|
5月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
94 0
|
2月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
79 2
|
4月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
163 0
|
5月前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
43 2
|
12月前
|
分布式计算 Hadoop Java
Hadoop伪分布式环境部署(非脚本)
本实验基于ECS云服务器(centOS7.7)搭建Hadoop伪分布式环境,并通过运行一个MapReduce示例程序熟悉Hadoop平台的使用。
|
5月前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
47 3
|
5月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
69 0
|
10月前
|
分布式计算 资源调度 Hadoop
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
35 0

相关实验场景

更多
下一篇
无影云桌面