Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(1)

简介: Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式

简介:

Hadoop 是一个用 Java 语言实现的软件框架,运行在 Linux 生产平台上是非常理想的,同时也可以运行在其他平台上,如“Windows”等 用户可以轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。

它主要有以下 5 个优点

  • 高可靠性
  • 高扩展性
  • 高效性
  • 高容错性
  • 低成本

image.png

1、Java环境配置

下载包链接:

查询JDK是否安装

1. java
2. javac

如果安装移除即可

yum remove java -y

创建存储文件夹【/opt/soft与/opt/data】备用

1. cd /opt
2. mkdir soft
3. mkdir data

image.png


上传安装包(放在opt下面,解压出来后修改名称为jdk方便操作)

image.png

进入到【soft】文件夹下解压安装包

tar -zxvf jdk-8u161-linux-x64.tar.gz

解压后查询一下【ls】

image.png


为了操作方便,改一下文件夹名称:

mv jdk1.8.0_161 jdk

效果:


image.png


将java的环境变量配置到【/etc/profile.d/hadoop-eco.sh】

/etc/profile.d/hadoop-eco.sh

配置脚本文件,并通过【:wq】进行保存

JAVA_HOME=/opt/jdk

PATH=$JAVA_HOME/bin:$PATH


image.png


通过【cat】命令进行查验:

cat /etc/profile.d/hadoop-eco.sh

image.png

执行脚本

source /etc/profile.d/hadoop-eco.sh

image.png

java -version
java
javac

javac能执行,代表肯定配置好了。

image.png

image.png

相关文章
|
2月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
65 0
|
11天前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
18 3
|
11天前
|
存储 分布式计算 Hadoop
Hadoop的运行模式
【4月更文挑战第12天】Hadoop支持三种运行模式:本地模式适用于初学者和小型项目;伪分布式集群模式用于测试,数据存储在HDFS;完全分布式集群模式,适用于企业级大规模数据处理,具有高吞吐量和容错性。选择模式取决于实际需求和环境配置。Hadoop的分布式计算特性使其在扩展性、容错性和可恢复性方面表现出色,是大数据处理的关键工具。
13 1
|
17天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
|
4月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
46 0
|
15天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
37 2
|
15天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
17天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
59 1
|
1月前
|
消息中间件 SQL 分布式计算
大数据Hadoop生态圈体系视频课程
熟悉大数据概念,明确大数据职位都有哪些;熟悉Hadoop生态系统都有哪些组件;学习Hadoop生态环境架构,了解分布式集群优势;动手操作Hbase的例子,成功部署伪分布式集群;动手Hadoop安装和配置部署;动手实操Hive例子实现;动手实现GPS项目的操作;动手实现Kafka消息队列例子等
20 1
大数据Hadoop生态圈体系视频课程
|
4月前
|
分布式计算 资源调度 搜索推荐
《PySpark大数据分析实战》-02.了解Hadoop
大家好!今天为大家分享的是《PySpark大数据分析实战》第1章第2节的内容:了解Hadoop。
48 0
《PySpark大数据分析实战》-02.了解Hadoop