Hadoop核心组件(一)
Hadoop1.X即第一代Hadoop,主要由分布式存储系统HDFS和分布式计算框架MapReduce组成。
Hadoop 1.X 生态几乎是**以 MapReduce 为核心**的,但是慢慢的发展,其扩展性差、资源利用率低、可靠性等问题都越来越让人觉得不爽,于是才产生了 YARN,并且 **Hadoop 2.X 生态都是以 YARN 为核心**。
Hadoop2.X主要包括4个重要组件,我们先看其中2个:
- **Common(基础组件)**:(工具包, RPC 框架) JNDI 和 RPC。
(Hadoop Common是Hadoop体系最底层的一个模块,为Hadoop各个子模块提供各种工具,比如系统配置工具Configuration、远程调用RPC、序列化机制和日志操作等等,是其他模块的基础。)
- **HDFS(Hadoop Distributed File System 分布式文件系统)** :HDFS是以**分布式**进行存储的文件系统,主要负责集群数据的存储与读取。