Hadoop大象之旅007-配置Hadoop伪分布模式

简介: Hadoop大象之旅007-配置Hadoop伪分布模式                                                         老帅   安装hadoop分为本地模式、伪分布模式、集群模式。

Hadoop大象之旅007-配置Hadoop伪分布模式

                                                         老帅

   安装hadoop分为本地模式、伪分布模式、集群模式。本地模式是运行在本地,只负责存储,没有计算功能。伪分布模式是在一台机器上模拟分布式部署,方便学习和调试。集群模式是在多个机器上配置hadoop,是真正的“分布式”。

   伪分布模式是在一台单机上运行,但用不同的 Java 进程模仿分布式运行中的各类结点 ( NameNode, DataNode, JobTracker, TaskTracker, SecondaryNameNode )

   分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个 NameNode 和若干个 DataNode 组成, 另有一个Secondary NameNode 作为NameNode 的备份。从分布式应用的角度来说,集群中的结点由一个JobTracker 和若干个 TaskTracker 组成,JobTracker 负责任务的调度,TaskTracker 负责并行执行任务。TaskTracker 必须运行在 DataNode 上,这样便于数据的本地计算。JobTracker NameNode 则无须在同一台机器上。

   本章讲述伪分布模式的安装。

 

1.先研究一下Hadoop的目录结构

参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS;

使用命令cd/usr/local/hadoop”或者“cd $HADOOP_HOME进入到Hadoop根目录;

使用命令ll查看一下目录结构,如下图所示:

其中d开头的表示文件夹,-开头的表示文件


我们要进行伪分布模式安装,需要修改的配置文件,都在“$HADOOP_HOME/conf文件夹中

使用命令“cd $HADOOP_HOME/conf”进入到Hadoop目录下;

使用命令ll查看一下目录结构,如下图所示:


2.修改hadoop-env.sh

这是Hadoop环境变量配置文件。

为了使Hadoop认识JDK,需要设置JAVA_HOME

使用命令vihadoop-env.sh编辑配置文件,如下图所示:


使用快捷键i进入文件编辑模式,修改内容如上图所示

                   export JAVA_HOME=/usr/local/jdk

记住要把前面的#注释删除

使用快捷键esc退出文件编辑模式,

使用Shift“:”组合键进入命令模式,

输入命令wq保存并退出。

 

3.修改core-site.xml

这是Hadoop的核心配置文件。

使用命令vicore-site.xml编辑配置文件,如下图所示:


<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

<description>hadoop的运行临时文件的主目录</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop001:9000</value>

<description>HDFS的访问路径</description>

</property>

<configuration>

hadoop.tmp.dir 的意思是 hadoop 运行时产生临时文件的主目录,我们把它放在/home/hadoop/temp 下;

fs.default.name 的意思是 hdfs 的访问路径,我们把它定义在 CentOS 下的 9000 端口;

这里的 hadoop001 就是在主机的名字,配置在/etc/hosts

 

4.修改hdfs-site.xml

这是hdfs的配置文件。

使用命令vihdfs-site.xml编辑配置文件,如下图所示:


<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

<description>存储副本数</description>

</property>

</configuration>

 

dfs.replication 的意思是hdfs存放文件副本的数量,默认为 3,在这里,我们是伪分布模式,这里设置为 1

 

5.修改 mapred-site.xml

这是mapreduce的配置文件

使用命令vimapred-site.xml编辑配置文件,如下图所示:


<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop001:9001</value>

<description>JobTracker的访问路径</description>

</property>

</configuration>

mapred.job.tracker 的意思是hadoop 中对于jobTracker 的访问路径,我们把它定义在 CentOS 下的 9001 端口;

这里的 hadoop001 就是在主机的名字,配置在/etc/hosts

 

这就是安装伪分布模式的最小化配置。

相关文章
|
1月前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例,详细介绍了如何在Hadoop集群中配置HTTPS,包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件,以及重启Hadoop集群的步骤,并提供了一些常见问题的故障排除方法。
52 3
Hadoop集群配置https实战案例
|
2月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
100 2
|
2月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
25 1
|
2月前
|
XML 分布式计算 监控
详细指南:在Hadoop中配置Oozie作业
【8月更文挑战第31天】
40 0
|
2月前
|
存储 分布式计算 Hadoop
Hadoop 运行的三种模式
【8月更文挑战第31天】
132 0
|
3月前
|
分布式计算 资源调度 Hadoop
Hadoop软件与配置问题
【7月更文挑战第14天】
40 3
|
3月前
|
分布式计算 Hadoop
Hadoop配置作业使用Combiner
【7月更文挑战第7天】
29 4
|
3月前
|
分布式计算 Hadoop 测试技术
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
50 2
|
3月前
|
分布式计算 运维 大数据
混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践。
除了资源效率和成本的优势外,混合云模式还为斗鱼带来了可量化的成本、增值服务以及额外的专业服务。阿里云的专业团队可以为斗鱼提供技术咨询和解决方案,帮助斗鱼解决业务难题。此外,计算资源的可量化也使得斗鱼能够清晰地了解资源使用情况,为业务决策提供依据。

相关实验场景

更多