Hadoop大象之旅007-配置Hadoop伪分布模式

简介: Hadoop大象之旅007-配置Hadoop伪分布模式                                                         老帅   安装hadoop分为本地模式、伪分布模式、集群模式。

Hadoop大象之旅007-配置Hadoop伪分布模式

                                                         老帅

   安装hadoop分为本地模式、伪分布模式、集群模式。本地模式是运行在本地,只负责存储,没有计算功能。伪分布模式是在一台机器上模拟分布式部署,方便学习和调试。集群模式是在多个机器上配置hadoop,是真正的“分布式”。

   伪分布模式是在一台单机上运行,但用不同的 Java 进程模仿分布式运行中的各类结点 ( NameNode, DataNode, JobTracker, TaskTracker, SecondaryNameNode )

   分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个 NameNode 和若干个 DataNode 组成, 另有一个Secondary NameNode 作为NameNode 的备份。从分布式应用的角度来说,集群中的结点由一个JobTracker 和若干个 TaskTracker 组成,JobTracker 负责任务的调度,TaskTracker 负责并行执行任务。TaskTracker 必须运行在 DataNode 上,这样便于数据的本地计算。JobTracker NameNode 则无须在同一台机器上。

   本章讲述伪分布模式的安装。

 

1.先研究一下Hadoop的目录结构

参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS;

使用命令cd/usr/local/hadoop”或者“cd $HADOOP_HOME进入到Hadoop根目录;

使用命令ll查看一下目录结构,如下图所示:

其中d开头的表示文件夹,-开头的表示文件


我们要进行伪分布模式安装,需要修改的配置文件,都在“$HADOOP_HOME/conf文件夹中

使用命令“cd $HADOOP_HOME/conf”进入到Hadoop目录下;

使用命令ll查看一下目录结构,如下图所示:


2.修改hadoop-env.sh

这是Hadoop环境变量配置文件。

为了使Hadoop认识JDK,需要设置JAVA_HOME

使用命令vihadoop-env.sh编辑配置文件,如下图所示:


使用快捷键i进入文件编辑模式,修改内容如上图所示

                   export JAVA_HOME=/usr/local/jdk

记住要把前面的#注释删除

使用快捷键esc退出文件编辑模式,

使用Shift“:”组合键进入命令模式,

输入命令wq保存并退出。

 

3.修改core-site.xml

这是Hadoop的核心配置文件。

使用命令vicore-site.xml编辑配置文件,如下图所示:


<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

<description>hadoop的运行临时文件的主目录</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop001:9000</value>

<description>HDFS的访问路径</description>

</property>

<configuration>

hadoop.tmp.dir 的意思是 hadoop 运行时产生临时文件的主目录,我们把它放在/home/hadoop/temp 下;

fs.default.name 的意思是 hdfs 的访问路径,我们把它定义在 CentOS 下的 9000 端口;

这里的 hadoop001 就是在主机的名字,配置在/etc/hosts

 

4.修改hdfs-site.xml

这是hdfs的配置文件。

使用命令vihdfs-site.xml编辑配置文件,如下图所示:


<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

<description>存储副本数</description>

</property>

</configuration>

 

dfs.replication 的意思是hdfs存放文件副本的数量,默认为 3,在这里,我们是伪分布模式,这里设置为 1

 

5.修改 mapred-site.xml

这是mapreduce的配置文件

使用命令vimapred-site.xml编辑配置文件,如下图所示:


<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop001:9001</value>

<description>JobTracker的访问路径</description>

</property>

</configuration>

mapred.job.tracker 的意思是hadoop 中对于jobTracker 的访问路径,我们把它定义在 CentOS 下的 9001 端口;

这里的 hadoop001 就是在主机的名字,配置在/etc/hosts

 

这就是安装伪分布模式的最小化配置。

相关文章
|
5月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
290 6
|
5月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
131 2
|
4月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
110 0
|
5月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
296 5
|
5月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
126 4
|
5月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
289 4
|
5月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
95 3
|
5月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
204 2
|
5月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
98 2
|
5月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
105 1

相关实验场景

更多