Hadoop构成

简介: Hadoop构成

Hadoop的基本工作原理


将文件切分成等大的数据块,存储到多台机器上

将数据切分、容错、负载均衡等功能透明化

可将HDFS看成一个容量巨大、具有高容错性的磁盘


Hadoop的应用


海量数据的可靠性存储

数据归档


HDFS(分布式文件系统)结构图



YARN(资源管理系统)

负责集群的资源管理和调度

使得多种计算框架可以运行在一个集群中


YARN的特点

良好的扩展性、高可用性

对多种类型的应用程序进行统一管理和调度

自带了多种多用户调度器,适合共享集群环境


YARN结构


MapReduce(分布式计算框架)

MapReduce特点

良好的扩展性

高容错性

适合PB级以上海量数据的离线处理

MapReduce结构图

相关文章
|
XML 分布式计算 Hadoop
hadoop
hadoop
1111 0
|
4月前
|
存储 分布式计算 Hadoop
深入理解Hadoop中的SequenceFileInputFormat
【8月更文挑战第31天】
91 0
|
机器学习/深度学习 存储 SQL
Hadoop
Hadoop组成
209 0
|
SQL 数据采集 分布式计算
Hadoop01【介绍】
HADOOP是apache旗下的一套开源软件平台,HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理
Hadoop01【介绍】
|
存储 分布式计算 Hadoop
Hadoop The First Day!!!
Hadoop MapReduce
1419 0
|
分布式计算 监控 Hadoop
|
分布式计算 资源调度 监控
|
分布式计算 Java Hadoop
|
存储 分布式计算 大数据

热门文章

最新文章

相关实验场景

更多