【Hadoop】本地模式

简介: Hadoop本地模式只是用于本地开发调试,或者快速安装体验Hadoop

JDK基础配置

配置IP地址,关闭网络防火墙selinux,配置主机地址


#jdk包解压到文件夹下,在profie后新添两行配置环境变量

[root@server1 ~]#  tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt/java/
[root@server1  jdk1.8.0_161]# vim /etc/profile
export  JAVA_HOME='/opt/java/jdk1.8.0_161'
export  PATH=$JAVA_HOME/bin:$PATH
[root@server1  jdk1.8.0_161]# source /etc/profile

image.png

 

#输入java -version测试环境变量是否生效

image.png


 本地模式部署

Hadoop本地模式只是用于本地开发调试,或者快速安装体验Hadoop

#hadoop创建存放文件夹,将hadoop解压,单机本地模式即可使用

[root@server1 ~]#  mkdir /opt/hadoopstandalone
[root@server1 ~]#  tar -zxf hadoop-2.7.3.tar.gz -C /opt/hadoopstandalone/

#用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce

#准备mapreduce输入文件wc.input

[root@server1  test]# cat wc.input 
hadoop mapreduce  hive
hbase spark storm
sqoop hadoop hive
spark hadoop

image.png

 

#运行,输出结果中Running  job后有local字样的,说明运行在本地模式下

[root@server1  hadoop-2.7.3]# bin/hadoop jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount  test/wc.input output2

image.png


#本地模式下,mapreduce的输出是输出到本地,查看输出文件有SUCCESS说明JOB运行成功

image.png

 


相关文章
|
6月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
143 0
|
分布式计算 资源调度 Hadoop
Hadoop学习指南:探索大数据时代的重要组成——Hadoop运行模式(下)
Hadoop学习指南:探索大数据时代的重要组成——Hadoop运行模式(下)
121 0
|
分布式计算 资源调度 Hadoop
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
486 0
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
162 6
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
66 2
|
15天前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
|
1月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
60 2
|
3月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
198 2
|
3月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
35 1
|
3月前
|
存储 分布式计算 Hadoop
Hadoop 运行的三种模式
【8月更文挑战第31天】
370 0

相关实验场景

更多
下一篇
无影云桌面