Hadoop核心组件(一)

简介: Hadoop核心组件(一)

Hadoop核心组件(一)

Hadoop1.X即第一代Hadoop,主要由分布式存储系统HDFS和分布式计算框架MapReduce组成。


Hadoop 1.X 生态几乎是**以 MapReduce 为核心**的,但是慢慢的发展,其扩展性差、资源利用率低、可靠性等问题都越来越让人觉得不爽,于是才产生了 YARN,并且 **Hadoop 2.X 生态都是以 YARN 为核心**。


Hadoop2.X主要包括4个重要组件,我们先看其中2个:


- **Common(基础组件)**:(工具包, RPC 框架) JNDI 和 RPC。

 (Hadoop Common是Hadoop体系最底层的一个模块,为Hadoop各个子模块提供各种工具,比如系统配置工具Configuration、远程调用RPC、序列化机制和日志操作等等,是其他模块的基础。)

- **HDFS(Hadoop Distributed File System 分布式文件系统)** :HDFS是以**分布式**进行存储的文件系统,主要负责集群数据的存储与读取。




相关文章
|
3月前
|
存储 分布式计算 Hadoop
Hadoop的核心组件是什么?请简要描述它们的作用。
Hadoop的核心组件是什么?请简要描述它们的作用。
35 0
|
4月前
|
SQL 存储 分布式计算
Hadoop学习笔记(HDP)-Part.02 核心组件原理
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
141 0
Hadoop学习笔记(HDP)-Part.02 核心组件原理
|
分布式计算 并行计算 Hadoop
Hadoop核心组件(二)
Hadoop核心组件(二)
|
分布式计算 资源调度 Hadoop
Hadoop核心组件之HDFS的安装与配置
Hadoop核心组件之HDFS的安装与配置
291 0
Hadoop核心组件之HDFS的安装与配置
|
资源调度 分布式计算 调度
Hadoop核心组件之Yarn
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51295569 程序在Yarn上的运行流程 如图所示,Yarn上的应用程序运行会经过如下步骤: 1.
1040 0
|
存储 分布式计算 Hadoop
Hadoop核心组件之HDFS
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50935586 HDFS...
989 0
|
15天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
37 2
|
15天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
16天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
57 1

相关实验场景

更多