Hadoop构成

简介: Hadoop构成

Hadoop的基本工作原理


将文件切分成等大的数据块,存储到多台机器上

将数据切分、容错、负载均衡等功能透明化

可将HDFS看成一个容量巨大、具有高容错性的磁盘


Hadoop的应用


海量数据的可靠性存储

数据归档


HDFS(分布式文件系统)结构图



YARN(资源管理系统)

负责集群的资源管理和调度

使得多种计算框架可以运行在一个集群中


YARN的特点

良好的扩展性、高可用性

对多种类型的应用程序进行统一管理和调度

自带了多种多用户调度器,适合共享集群环境


YARN结构


MapReduce(分布式计算框架)

MapReduce特点

良好的扩展性

高容错性

适合PB级以上海量数据的离线处理

MapReduce结构图

相关文章
|
分布式计算 Hadoop Java
|
分布式计算 资源调度 Hadoop
02 Hadoop介绍
02 Hadoop介绍
46 0
|
分布式计算 Hadoop
Hadoop DistributedCache详解(转载)
转自:http://dongxicheng.org/mapreduce-nextgen/hadoop-distributedcache-details/
787 0
|
分布式计算 资源调度 Hadoop
|
存储 分布式计算 Hadoop
Hadoop The First Day!!!
Hadoop MapReduce
1415 0
|
存储 分布式计算 Hadoop
|
分布式计算 监控 Hadoop
|
分布式计算 资源调度 监控